ubuntu下搭建一个数据化处理的开发环境
1、搭建matplotlib環境
構建matplotlib運行環境,需要滿足相關軟件環境。
numpy庫提供大數據集的數據的數據結構和數學方法。諸如元組、列表或字典等python的默認數據結構同樣可以很好的支持數據的插入、刪除和諒解。NumPy的數據結構支持矢量操作,使用簡便,同時具有很高的執行效率。矢量操作在實現時充分考慮了大數據的需要,基于C語言的方式也保證了執行效率。
基于Numpy的scipy庫,是Python的標準科學計算和數學計算工具包,包含了大量的專用函數和算法。大部分函數和算法源自著名的Netlib軟件倉庫(http://www.netlib.org),實際上是使用C語言和Fortran實現的。
?
1、安裝NumPy
安裝Python-NumPy軟件包
apt-get install python-numpy安裝完成后,使用命令
python -c 'import numpy; printf numpy_.__version__'檢查版本。
2、安裝所需庫
libpng1.2:PNG文件處理
freetype6:處理True type字體
?
sudo apt-get install libfreetype6 sudo apt-get install libpng12-dev3、安裝matplotlib
apt-get install python-matplotlib4如果你想進行機器學習方向的學習,下面這些庫也是必不可少的。
4、安裝scipy
Scipy是一個高級的科學計算庫,它和Numpy聯系很密切,Scipy一般都是操控Numpy數組來進行科學計算,所以可以說是基于Numpy之上的開發工具。
apt-get installl python-scipy55、安裝數據分析工具pandas?
apt-get install python-pandas 66、sklearn是必不可少的,sklearn中包含了大量的優質的數據集,在你學習機器學習的過程中,你可以通過使用這些數據集實現出不同的模型。安裝指令
apt-get install python-sklearn2、安裝virtualenv和virtualenvwrapper
如果同時工作在多個項目上,或是需要在不同項目間頻繁切換,將所有軟件都安裝在操作系統上并不是一個好主意。當需要在不同系統上運行軟件時,這種方式會帶來問題。virtualenv它可以創建一個獨立的python環境,這樣就可以讓我們很容易的在不同的運行環境之間切換。同時,如果需要切換到另外的機器或者需要在產品服務器上部署軟件時,用virtualenv可以很容易的重新構建相同的軟件包。
1、安裝pip
pip是安裝并管理Python軟件包的工具,可以用它來代替easy install工具。pip安裝命令如下:
apt-get install python-setuptoolseasy_install pip什么時候該用pip,什么時候該用apt-get呢?情況是這樣的,如果你需要最新版本的python依賴包,你可以直接使用apt-get,在項目突然需要使用舊版本的依賴包時,你就可以使用virtualenv和pip來使完美得再安裝上一個舊版本的依賴包;?
2、安裝virtualenv和virtualenvwrapper
easy_install virtualenveasy_install virtualenvwrapper
安裝完成后,需要在系統中添加virtualenvwrapper的環境變量,在~/.bashrc文件中的最后添加路徑如下
source "/usr/local/bin/virtualenvwrapper.sh" export WORKON_HOME="/opt/virtual_env/"3、關于virtualenv使用
(1) 首先創建一個虛擬環境
virtualenv python_env系統在預設虛擬環境時,默認的會依賴系統環境中的包,如果不想依賴西戎的包,可以加上?--no-site-packages?來建立虛擬環境即
virtualenv --no-site-packages python_env(2)啟動虛擬環境
進入到虛擬環境的目錄下,使用命令
source bin/active可以看到,在最前面多了一個虛擬環境的名稱,說明虛擬環境已經開始運行了。
?(3)在虛擬環境安裝新的Python 套件
安裝套件的命令為
pip install [套件名稱]如果想要避免pip在沒有進入虛擬環境時被使用,可以在~/.bashrc加上:
export PIP_REQUIRE_VIRTUALENV=true要求pip一定要在虛擬環境中執行。
也可以用下面的設定,讓系統的pip自動使用啟動中的虛擬環境。
export PIP_RESPECT_VIRTUALENV=true避免意外將套件安裝至系統環境。
?(4)退出虛擬環境
在命令中輸入
deactivate即可推出虛擬環境。
?
4、關于virtualenvwrapper的使用
Virtualenvwrapper 是一個Virtualenv 的擴展,可使虛擬環境的管理變得更容易。
詳細來說,Virtualenvwrapper 提供下述功能:
?使用如下:
?
使用命令mkvirtualenv可以進行一次性裝配
mkvirtualenv [-i package] [-r requirements_file] [virtualenv options] ENVNAME當然也可以一步步來,首先創建虛擬環境
然后可以看到在~/.virtualenvs的文件下創建了一個虛擬環境,我們可以如virtualenv一樣去文件加下激活,但是這樣就比較麻煩,virtualenvwrapper提供了一個非常有用的激活命令workon來進行激活,我們可以直接使用命令進行激活。
workon 要激活的環境名?
?除此之外,virtualenvwrapper還提供了一些其他的命令方便我們使用:
(1)虛擬環境列出指令
lsvirtualenv [-b] [-l] [-h]其中-b是簡短模式;-l是詳細模式(預設);-h是印出help資訊。
(2)復制虛擬環境指令
cpvirtualenv ENVNAME TARGETENVNAME
(3)移除虛擬環境指令
rmvirtualenv ENVNAME
還有更多指令請查看查考手冊。
?3、安裝圖像處理工具PIL
? python圖像庫(PIL)為python提供了強大的圖像處理能力,PIL支持的文件格式相當廣泛,其特性有快速數據訪問、點運算、濾波、圖像縮放、旋轉、任意仿射轉換等。
?使用命令
apt-get install python-PIL即可安裝。
有一個專門針對PIL編寫的在線手冊,可以查看鏈接學習。
?
?
4、安裝requests模塊
我們需要的大部分數據都可以同通過HTTP或類似協議得到,因此,我們需要一些工具來實現數據訪問,雖然python提供的urllib2提供了訪問遠程資源的能力,但是該模塊完成基礎任務的工作量較大。Request封裝了HTTP1.1的內容,并提供了新的API,僅在需要實現非默認訪問的情況下才需要暴露相關內容。安裝用
apt-get install python-requests下面為一個requtests的使用小例子(運行環境python3.4):
import requests r = requests.get('http://github.com/timeline.json') print(r.content)運行結果如下:
本例中,是向github站的URI發送HTTP GET請求,以JSON格式返回了GITHub網站的活動時間表。在成功讀取HTTP響應后,對象r包含了HTTP響應內容以及其他屬性信息(HTTP狀態碼、cookie、HTTP頭元數據,甚至包括當前響應所對應的請求信息。
?
5、在代碼中配置matplotlib參數
在matplotlib的配置文件.rc文件中,已經為大部分屬性提供了默認值,這里講解下如何在代碼中配置matplot參數。
在代碼執行過程中,有兩種方法運行參數:使用字典(rcParams)或調用matplotlib.rc()命令進行更改。第一種方式,可以通過rcParams訪問修改所有已經加載的配置項,第二種方式中,可以通過向matplotlib.rc()傳入屬性的關鍵字元元組來修改配置項。
如果要修改重置動態修改后的配置參數,可以調用matplotlib.rcdefaults()將配置重置為標準設置。
下面通過兩段代碼延時之前介紹的功能
使用matplotlib.rcParams的例子
import matplotlib as mpl mpl.rcParams['lines.linewidth'] = 2 mpl.rcParams['lines.color'] = 'y'使用matplotlib.rc()函數的例子。
import matplotlib as mpl mpl.rc('lines',linewidth=2,color='r')上面兩個例子具有相同的作用,第二個例子中,我們設定后續的所有線條寬度為2個點,第一個例子中的最后一條語句表面光,語句之后的所有線條的衍射均為紅色,除非本地覆蓋他。下面給出一個實際應用的例子。
import matplotlib.pyplot as plt import numpy as npt=np.arange(0.0,1.0,0.01) s=np.sin(2*np.pi*t)plt.rcParams['lines.color'] = 'r' plt.plot(t,s) c=np.cos(2*np.pi*t) plt.rcParams['lines.linewidth'] = '3' plt.plot(t,c) plt.show()使用python test.py運行上面的test.py程序,運行結果如下:
?
6、為項目設置matplotlib參數
如果不想每次使用matplot時都在代碼開始部分進行分配,就需要為不同的項目設定不同的默認配置項。假設一個項目對于matplot的特性參數總會設置相同的值,就沒有必要每次編寫新的繪圖代碼時都進行相同的配置。取而代之的,應該是在代碼之外,使用一個永久的文件設定matplotlib參數默認值。
通過matplotlibrc來配置文件。配置文件在三個不同位置,而他們的位置決定了他們的應用范圍,三個位置的說明如下:
當前目錄:即代碼運行的目錄。在當前目錄下,可以為目錄所包含的當前項目定制matplotlib配置項。配置文件的名稱為matplotlibrc。
用戶級.matplotlib/matplotlibrc文件:通常在用戶的$HOME目錄下。可以用matplotlib.get_configdir()命令來找到當前用戶的配置文件目錄。
安裝級配置文件:通常在python的site-packages目錄下。這是系統級配置,不過在每次重新安裝matplotlib后,覆蓋文件會被覆蓋。因此如果希望保持持久有效的配置,最好選擇在用戶級配置文件中進行設置。目前對本配置文件的最佳應用方式,是將其作為默認配置模板。如果在用戶級配置文件已經比較混亂,或者需要為新項目做全新配置時,可以基于該配置文件進行配置。
在shell中運行以下命令,即可打印出配置文件目錄的位置:
python -c 'import matplotlib as mpl; print mpl.get_configdir()'配置文件包括以下配置項:
axes:設置坐標軸邊界和表面的顏色、坐標刻度大小和網格的顯示。
backend:設置目標輸出TKAgg和GTKAgg。
figure:控制dpi、邊界顏色、圖形大小和子區設置。
font:字體集,字體大小和樣式設置。
grid:設置網格顏色和線型。
legend:設置圖例和其中文本的顯示。
line:設置線條(顏色、線性、寬度等)和標記。
patch:填充2D空間的圖形對象,如多邊形和圓。控制線寬、顏色和抗鋸齒設置等。
savefig:可以對保存的圖形進行單獨設置。
text:設置字體顏色、文本解析等。
verbose:設置matplotlib在執行期間信息輸出,如silent、helpful、debug和debug-annoying。
xticks和yticks:為x、y軸的主刻度和次刻度設置顏色、大小、方向以及標簽大小。
?
?
參考資料
MATPLOTLIB
關于在Ubuntu下安裝配置numpy,scipy,matplotlibm,pandas 以及sklearn
Python: Ubuntu 安裝numpy,scipy,matplotlib
Python?的虛擬環境及多版本開發利器─Virtualenv 與 Pythonbrew
http://effbot.org/
?
轉載于:https://www.cnblogs.com/noticeable/p/8933753.html
總結
以上是生活随笔為你收集整理的ubuntu下搭建一个数据化处理的开发环境的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Scrum 冲刺博客第四篇
- 下一篇: Django Models一对多操作