鏡像pip安裝

阿里云 http://mirrors.aliyun.com/pypi/simple/
中國(guó)科技大學(xué) https://pypi.mirrors.ustc.edu.cn/simple/
豆瓣(douban) http://pypi.douban.com/simple/
清華大學(xué) https://pypi.tuna.tsinghua.edu.cn/simple/
中國(guó)科學(xué)技術(shù)大學(xué) http://pypi.mirrors.ustc.edu.cn/simple/
例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple xgboost
如果出現(xiàn)“You are using pip version 10.0.1, however version 20.0.2 is available.”問(wèn)題

python -m pip install -U pip

常用庫(kù)

一、數(shù)值計(jì)算

NumPy支持多維數(shù)組與矩陣運(yùn)算，也針對(duì)數(shù)組運(yùn)算提供大量的數(shù)學(xué)函數(shù)庫(kù)。通常與SciPy和Matplotlib一起使用，支持比Python更多種類的數(shù)值類型，其中定義的最重要的對(duì)象是稱為ndarray的n維數(shù)組類型，用于描述相同類型的元素集合，可以使用基于0的索引訪問(wèn)集合中元素。

SciPy在NumPy庫(kù)的基礎(chǔ)上增加了眾多的數(shù)學(xué)、科學(xué)及工程計(jì)算中常用的庫(kù)函數(shù),如線性代數(shù)、常微分方程數(shù)值求解、信號(hào)處理、圖像處理、稀疏矩陣等，可進(jìn)行插值處理、信號(hào)濾波，以及使用C語(yǔ)言加速計(jì)算。

Pandas基于NumPy的一種工具，為解決數(shù)據(jù)分析任務(wù)而生。納入大量庫(kù)和一些標(biāo)準(zhǔn)的數(shù)據(jù)模型，提供高效地操作大型數(shù)據(jù)集所需的工具及大量的能快速便捷處理數(shù)據(jù)的函數(shù)和方法，為時(shí)間序列分析提供很好的支持，提供多種數(shù)據(jù)結(jié)構(gòu)，如Series、Time-Series、DataFrame和Panel。

二、數(shù)據(jù)可視化

Matplotlib第一個(gè)Python可視化庫(kù)，有許多別的程序庫(kù)都是建立在其基礎(chǔ)上或者直接調(diào)用該庫(kù)，可以很方便地得到數(shù)據(jù)的大致信息，功能非常強(qiáng)大，但也非常復(fù)雜。

Seaborn利用了Matplotlib，用簡(jiǎn)潔的代碼來(lái)制作好看的圖表。與Matplotlib最大的區(qū)別為默認(rèn)繪圖風(fēng)格和色彩搭配都具有現(xiàn)代美感。

ggplot基于R的一個(gè)作圖庫(kù)ggplot2，同時(shí)利用了源于《圖像語(yǔ)法》（The Grammar of Graphics）中的概念，允許疊加不同的圖層來(lái)完成一幅圖，并不適用于制作非常個(gè)性化的圖像，為操作的簡(jiǎn)潔度而犧牲了圖像的復(fù)雜度。

Bokeh跟ggplot一樣，Bokeh也基于《圖形語(yǔ)法》的概念。與ggplot不同之處為它完全基于Python而不是從R處引用。長(zhǎng)處在于能用于制作可交互、可直接用于網(wǎng)絡(luò)的圖表。圖表可以輸出為JSON對(duì)象、HTML文檔或者可交互的網(wǎng)絡(luò)應(yīng)用。Bokeh也支持?jǐn)?shù)據(jù)流和實(shí)時(shí)數(shù)據(jù)，為不同的用戶提供了3種控制水平：最高的控制水平用于快速制圖，主要用于制作常用圖像；中等控制水平與Matplotlib一樣允許開(kāi)發(fā)人員控制圖像的基本元素（例如分布圖中的點(diǎn)）；最低的控制水平主要面向開(kāi)發(fā)人員和軟件工程師。沒(méi)有默認(rèn)值，需要定義圖表的每一個(gè)元素。

Plotly可以通過(guò)Python notebook使用，與Bokeh一樣致力于交互圖表的制作，但提供在別的庫(kù)中幾乎沒(méi)有的幾種圖表類型，如等值線圖、樹(shù)形圖和三維圖表。

pygal與Bokeh和Plotly一樣，提供可直接嵌入網(wǎng)絡(luò)瀏覽器的可交互圖像。與其他兩者的主要區(qū)別在于可將圖表輸出為SVG格式，所有的圖表都被封裝成方法，且默認(rèn)的風(fēng)格也很漂亮，用幾行代碼就可以很容易地制作出漂亮的圖表。

geoplotlib用于制作地圖和地理相關(guān)數(shù)據(jù)的工具箱?？捎脕?lái)制作多種地圖，比如等值區(qū)域圖、熱度圖、點(diǎn)密度圖。必須安裝Pyglet（一個(gè)面向?qū)ο缶幊探涌?#xff09;方可使用。

missingno用圖像的方式快速評(píng)估數(shù)據(jù)缺失的情況，可根據(jù)數(shù)據(jù)的完整度對(duì)數(shù)據(jù)進(jìn)行排序或過(guò)濾，或者根據(jù)熱度圖或樹(shù)狀圖對(duì)數(shù)據(jù)進(jìn)行修正。

三、數(shù)據(jù)庫(kù)管理

MySQL-python又稱MySQLdb，是Python連接MySQL最流行的一個(gè)驅(qū)動(dòng)，很多框架也基于此庫(kù)進(jìn)行開(kāi)發(fā)。只支持Python 2.x，且安裝時(shí)有許多前置條件。由于該庫(kù)基于C語(yǔ)言開(kāi)發(fā)，在Windows平臺(tái)上的安裝非常不友好，經(jīng)常出現(xiàn)失敗的情況，現(xiàn)在基本不推薦使用，取代品為衍生版本。

mysqlclient完全兼容MySQLdb，同時(shí)支持Python 3.x，是Django ORM的依賴工具，可使用原生SQL來(lái)操作數(shù)據(jù)庫(kù)，安裝方式與MySQLdb一致。

PyMySQL純Python實(shí)現(xiàn)的驅(qū)動(dòng)，速度比MySQLdb慢，最大的特點(diǎn)為安裝方式簡(jiǎn)潔，同時(shí)也兼容MySQL-python。

SQLAlchemy一種既支持原生SQL，又支持ORM的工具。ORM是Python對(duì)象與數(shù)據(jù)庫(kù)關(guān)系表的一種映射關(guān)系，可有效提高寫(xiě)代碼的速度，同時(shí)兼容多種數(shù)據(jù)庫(kù)系統(tǒng)，如SQLite、MySQL、PostgreSQL，代價(jià)為性能上的一些損失。

四、自動(dòng)化運(yùn)維

jumpsever跳板機(jī)一種由Python編寫(xiě)的開(kāi)源跳板機(jī)（堡壘機(jī)）系統(tǒng)，實(shí)現(xiàn)了跳板機(jī)的基本功能，包含認(rèn)證、授權(quán)和審計(jì)，集成了Ansible、批量命令等。支持WebTerminal Bootstrap編寫(xiě)，界面美觀，自動(dòng)收集硬件信息，支持錄像回放、命令搜索、實(shí)時(shí)監(jiān)控、批量上傳下載等功能，基于SSH協(xié)議進(jìn)行管理，客戶端無(wú)須安裝agent。主要用于解決可視化安全管理，因完全開(kāi)源，容易再次開(kāi)發(fā)。

Magedu分布式監(jiān)控系統(tǒng)一種用Python開(kāi)發(fā)的自動(dòng)化監(jiān)控系統(tǒng)，可監(jiān)控常用系統(tǒng)服務(wù)、應(yīng)用、網(wǎng)絡(luò)設(shè)備，可在一臺(tái)主機(jī)上監(jiān)控多個(gè)不同服務(wù)，不同服務(wù)的監(jiān)控間隔可以不同，同一個(gè)服務(wù)在不同主機(jī)上的監(jiān)控間隔、報(bào)警閾值可以不同，并提供數(shù)據(jù)可視化界面。

Magedu的CMDB一種用Python開(kāi)發(fā)的硬件管理系統(tǒng)，包含采集硬件數(shù)據(jù)、API、頁(yè)面管理3部分功能，主要用于自動(dòng)化管理筆記本、路由器等常見(jiàn)設(shè)備的日常使用。由服務(wù)器的客戶端采集硬件數(shù)據(jù)，將硬件信息發(fā)送至API，API負(fù)責(zé)將獲取的數(shù)據(jù)保存至數(shù)據(jù)庫(kù)中，后臺(tái)管理程序負(fù)責(zé)對(duì)服務(wù)器信息進(jìn)行配置和展示。

任務(wù)調(diào)度系統(tǒng)一種由Python開(kāi)發(fā)的任務(wù)調(diào)度系統(tǒng)，主要用于自動(dòng)化地將一個(gè)服務(wù)進(jìn)程分布到其他多個(gè)機(jī)器的多個(gè)進(jìn)程中，一個(gè)服務(wù)進(jìn)程可作為調(diào)度者依靠網(wǎng)絡(luò)通信完成這一工作。

Python運(yùn)維流程系統(tǒng)一種使用Python語(yǔ)言編寫(xiě)的調(diào)度和監(jiān)控工作流的平臺(tái)，內(nèi)部用于創(chuàng)建、監(jiān)控和調(diào)整數(shù)據(jù)管道。允許工作流開(kāi)發(fā)人員輕松創(chuàng)建、維護(hù)和周期性地調(diào)度運(yùn)行工作流，包括了如數(shù)據(jù)存儲(chǔ)、增長(zhǎng)分析、Email發(fā)送、A/B測(cè)試等諸多跨多部門(mén)的用例。

五、機(jī)器學(xué)習(xí)

Scikit-Learn基于NumPy和SciPy，是專門(mén)為機(jī)器學(xué)習(xí)建造的一個(gè)Python模塊，提供了大量用于數(shù)據(jù)挖掘和分析的工具，包括數(shù)據(jù)預(yù)處理、交叉驗(yàn)證、算法與可視化算法等一系列接口。Sklearn的基本功能可分為6個(gè)部分：分類回歸聚類數(shù)據(jù)降維模型選擇數(shù)據(jù)預(yù)處理其中集成了大量分類、回歸和聚類的算法，包括支持向量機(jī)、邏輯回歸、樸素貝葉斯、隨機(jī)森林、Gradient Boosting、K-means和DBSCAN等。

Orange3是一個(gè)基于組件的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)軟件套裝，支持Python進(jìn)行腳本開(kāi)發(fā)。它包含一系列的數(shù)據(jù)可視化、檢索、預(yù)處理和建模技術(shù)，具有一個(gè)良好的用戶界面，同時(shí)也可以作為Python的一個(gè)模塊使用。用戶可通過(guò)數(shù)據(jù)可視化進(jìn)行數(shù)據(jù)分析，包括統(tǒng)計(jì)分布圖、柱狀圖、散點(diǎn)圖，以及更深層次的決策樹(shù)、分層聚簇、熱點(diǎn)圖、MDS（多維度分析）、線性預(yù)測(cè)等，并可使用Orange自帶的各類附加功能組件進(jìn)行NLP、文本挖掘、構(gòu)建網(wǎng)絡(luò)分析、推斷高頻數(shù)據(jù)集和關(guān)聯(lián)規(guī)則數(shù)據(jù)分析。

XGBoost是專注于梯度提升算法的機(jī)器學(xué)習(xí)函數(shù)庫(kù)，因其優(yōu)良的學(xué)習(xí)效果及高效的訓(xùn)練速度而獲得廣泛的關(guān)注。XGBoost支持并行處理，比起同樣實(shí)現(xiàn)了梯度提升算法的Scikit-Learn庫(kù)，其性能提升10倍以上。XGBoost可以處理回歸、分類和排序等多種任務(wù)。

NuPIC是專注于時(shí)間序列的一個(gè)機(jī)器學(xué)習(xí)平臺(tái)，其核心算法為HTM算法，相比于深度學(xué)習(xí)，其更為接近人類大腦的運(yùn)行結(jié)構(gòu)。HTM算法的理論依據(jù)主要是人腦中處理高級(jí)認(rèn)知功能的新皮質(zhì)部分的運(yùn)作原理。NuPIC可用于預(yù)測(cè)及異常檢測(cè)，適用面非常廣，僅要求輸入時(shí)間序列即可。

**Milk（Machine Learning Toolkit）**是Python中的一個(gè)機(jī)器學(xué)習(xí)工具包。Milk注重提升運(yùn)行速度與降低內(nèi)存占用，因此大部分對(duì)性能敏感的代碼都是使用C++編寫(xiě)的，為了便利性在此基礎(chǔ)上提供Python接口。重點(diǎn)提供監(jiān)督分類方法，如SVMs、KNN、隨機(jī)森林和決策樹(shù)，也支持無(wú)監(jiān)督學(xué)習(xí)算法，如K-means和密切關(guān)系傳播。

六、深度學(xué)習(xí)

**Caffe（Convolutional Architecture for Fast Feature Embedding）**是一個(gè)以表達(dá)式、速度和模塊化為核心的深度學(xué)習(xí)框架，具備清晰、可讀性高和快速的特性，在視頻、圖像處理方面應(yīng)用較多。Caffe中的網(wǎng)絡(luò)結(jié)構(gòu)與優(yōu)化都以配置文件形式定義，容易上手，無(wú)須通過(guò)代碼構(gòu)建網(wǎng)絡(luò)；網(wǎng)絡(luò)訓(xùn)練速度快，能夠訓(xùn)練大型數(shù)據(jù)集與State-of-the-art的模型；模塊化的組件可以方便地拓展到新的模型與學(xué)習(xí)任務(wù)上。

Theano誕生于2008年，是一個(gè)高性能的符號(hào)計(jì)算及深度學(xué)習(xí)庫(kù)，被認(rèn)為是深度學(xué)習(xí)庫(kù)的始祖之一，也被認(rèn)為是深度學(xué)習(xí)研究和應(yīng)用的重要標(biāo)準(zhǔn)之一。其核心是一個(gè)數(shù)學(xué)表達(dá)式的編譯器，專門(mén)為處理大規(guī)模神經(jīng)網(wǎng)絡(luò)訓(xùn)練的計(jì)算而設(shè)計(jì)。Theano很好地整合了NumPy，可以直接使用NumPy的ndarray，使得API接口學(xué)習(xí)成本大為降低；其計(jì)算穩(wěn)定性好，可以精準(zhǔn)地計(jì)算輸出值很小的函數(shù)，如log(1+x)；可動(dòng)態(tài)地生成C或者CUDA代碼，用來(lái)編譯成高效的機(jī)器代碼。

TensorFlow是相對(duì)高階的機(jī)器學(xué)習(xí)庫(kù)，其核心代碼使用C++編寫(xiě)，并支持自動(dòng)求導(dǎo)，使得用戶可以方便地設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，不需要親自編寫(xiě)C++或CUDA代碼，也無(wú)須通過(guò)反向傳播求解梯度。由于底層使用C++語(yǔ)言編寫(xiě)，運(yùn)行效率得到了保證，并簡(jiǎn)化了線上部署的復(fù)雜度。除了核心代碼的C++接口以外，TensorFlow還有官方的Python、Go和Java接口以外，用戶可以在一個(gè)硬件配置較好的機(jī)器中用Python進(jìn)行實(shí)驗(yàn)，并在資源比較緊張的嵌入式環(huán)境或需要低延遲的環(huán)境中用C++部署模型。TensorFlow不只局限于神經(jīng)網(wǎng)絡(luò)，其數(shù)據(jù)流式圖還支持非常自由的算法表達(dá)，也可以輕松實(shí)現(xiàn)深度學(xué)習(xí)以外的機(jī)器學(xué)習(xí)算法。

Keras是一個(gè)高度模塊化的神經(jīng)網(wǎng)絡(luò)庫(kù)，使用Python實(shí)現(xiàn)，并可以同時(shí)運(yùn)行在TensorFlow和Theano上。Keras專精于深度學(xué)習(xí)，其提供了到目前為止最方便的API，用戶僅需將高級(jí)的模塊拼在一起便可設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)，大大降低了編程開(kāi)銷（code overhead）與理解開(kāi)銷（cognitive overhead）。Keras同時(shí)支持卷積網(wǎng)絡(luò)和循環(huán)網(wǎng)絡(luò)，支持級(jí)聯(lián)的模型或任意的圖結(jié)構(gòu)的模型，從CPU上計(jì)算切換到GPU加速無(wú)須任何代碼的改動(dòng)。簡(jiǎn)化了編程的復(fù)雜度的同時(shí)，在性能上絲毫不遜色于TensorFlow和Theano。

總結(jié)

以上是生活随笔為你收集整理的数据分析常用Python库：数值计算、可视化、机器学习等领域的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。