導讀：近幾年隨著深度學習算法的發展，出現了許多深度學習框架。這些框架各有所長，各具特色。常用的開源框架有TensorFlow、Keras、Caffe、PyTorch、Theano、CNTK、MXNet、PaddlePaddle、Deeplearning4j、ONNX等。

作者：謝佳標

來源：大數據DT（ID：hzdashuju）

• 框架名稱：TensorFlow

• 主要維護方：Google

• 支持的語言：C++/Python/Java/R 等

• GitHub源碼地址：

  https://github.com/tensorflow/tensorflow

• 框架名稱：Keras

• 主要維護方：Google

• 支持的語言：Python/R

• GitHub源碼地址：

  https://github.com/keras-team/keras

• 框架名稱：Caffe

• 主要維護方：BVLC

• 支持的語言：C++/Python/Matlab

• GitHub源碼地址：

  https://github.com/BVLC/caffe

• 框架名稱：PyTorch

• 主要維護方：Facebook

• 支持的語言：C/C++/Python

• GitHub源碼地址：

  https://github.com/pytorch/pytorch

• 框架名稱：Theano

• 主要維護方：UdeM

• 支持的語言：Python

• GitHub源碼地址：

  https://github.com/Theano/Theano

• 框架名稱：CNTK

• 主要維護方：Microsoft

• 支持的語言：C++/Python/C#/.NET/Java/R

• GitHub源碼地址：

  https://github.com/Microsoft/CNTK
  

• 框架名稱：MXNet

• 主要維護方：DMLC

• 支持的語言：C++/Python/R等

• GitHub源碼地址：

  https://github.com/apache/incubator-mxnet

• 框架名稱：PaddlePaddle

• 主要維護方：Baidu

• 支持的語言：C++/Python

• GitHub源碼地址：

  https://github.com/PaddlePaddle/Paddle/

• 框架名稱：Deeplearning4j

• 主要維護方：Eclipse

• 支持的語言：Java/Scala等

• GitHub源碼地址：

  https://github.com/eclipse/deeplearning4j

• 框架名稱：ONNX

• 主要維護方：Microsoft/ Facebook

• 支持的語言：Python/R

• GitHub源碼地址：

  https://github.com/onnx/onnx

下面開始對各框架進行概述，讓讀者對各個框架有個簡單的認知，具體的安裝及使用方法不在本文贅述。

01 TensorFlow

谷歌的TensorFlow可以說是當今最受歡迎的開源深度學習框架，可用于各類深度學習相關的任務中。TensorFlow = Tensor + Flow，Tensor就是張量，代表N維數組；Flow即流，代表基于數據流圖的計算。

TensorFlow是目前深度學習的主流框架，其主要特性如下所述。

• TensorFlow支持Python、JavaScript、C ++、Java、Go、C＃、Julia和R等多種編程語言。

• TensorFlow不僅擁有強大的計算集群，還可以在iOS和Android等移動平臺上運行模型。

• TensorFlow編程入門難度較大。初學者需要仔細考慮神經網絡的架構，正確評估輸入和輸出數據的維度和數量。

• TensorFlow使用靜態計算圖進行操作。也就是說，我們需要先定義圖形，然后運行計算，如果我們需要對架構進行更改，則需要重新訓練模型。選擇這樣的方法是為了提高效率，但是許多現代神經網絡工具已經能夠在學習過程中改進，并且不會顯著降低學習速度。在這方面，TensorFlow的主要競爭對手是PyTorch。

RStudio提供了R與TensorFlow的API接口，RStudio官網及GitHub上也提供了TensorFlow擴展包的學習資料。

• https://tensorflow.rstudio.com/tensorflow/

• https://github.com/rstudio/tensorflow

02 Keras

Keras是一個對小白用戶非常友好且簡單的深度學習框架。如果想快速入門深度學習， Keras將是不錯的選擇。

Keras是TensorFlow高級集成API，可以非常方便地和TensorFlow進行融合。Keras在高層可以調用TensorFlow、CNTK、Theano，還有更多優秀的庫也在被陸續支持中。Keras的特點是能夠快速搭建模型，是高效地進行科學研究的關鍵。

Keras的基本特性如下：

• 高度模塊化，搭建網絡非常簡潔；

• API簡單，具有統一的風格；

• 易擴展，易于添加新模塊，只需要仿照現有模塊編寫新的類或函數即可。

RStudio提供了R與Keras的API接口，RStudio的官網及GitHub上也提供了Keras擴展包的學習資料。

• https://tensorflow.rstudio.com/keras/

• https://github.com/rstudio/keras

03 Caffe

Caffe是由AI科學家賈揚清在加州大學伯克利分校讀博期間主導開發的，是以C++/CUDA代碼為主的早期深度學習框架之一，比TensorFlow、MXNet、PyTorch等都要早。Caffe需要進行編譯安裝，支持命令行、Python和Matlab接口，單機多卡、多機多卡等都可以很方便使用。

Caffe的基本特性如下。

• 以C++/CUDA/Python代碼為主，速度快，性能高。

• 工廠設計模式，代碼結構清晰，可讀性和可拓展性強。

• 支持命令行、Python和Matlab接口，使用方便。

• CPU和GPU之間切換方便，多GPU訓練方便。

• 工具豐富，社區活躍。

同時，Caffe的缺點也比較明顯，主要包括如下幾點。

• 源代碼修改門檻較高，需要實現正向/反向傳播。

• 不支持自動求導。

• 不支持模型級并行，只支持數據級并行。

• 不適合非圖像任務。

雖然Caffe已經提供了Matlab和Python接口，但目前不支持R語言。caffeR為Caffe提供了一系列封裝功能，允許用戶在R語言上運行Caffe，包括數據預處理和網絡設置，以及監控和評估訓練過程。該包還沒有CRAN版本，感興趣的讀者可以在GitHub找到caffeR包的安裝及使用的相關內容。

https://github.com/cnaumzik/caffeR

04 PyTorch

PyTorch是Facebook團隊于2017年1月發布的一個深度學習框架，雖然晚于TensorFlow、Keras等框架，但自發布之日起，其受到的關注度就在不斷上升，目前在GitHub上的熱度已經超過Theano、Caffe、MXNet等框架。

PyTroch主要提供以下兩種核心功能：

• 支持GPU加速的張量計算；

• 方便優化模型的自動微分機制。

PyTorch的主要優點如下。

• 簡潔易懂：PyTorch的API設計相當簡潔一致，基本上是tensor、autograd、nn三級封裝，學習起來非常容易。

• 便于調試：PyTorch采用動態圖，可以像普通Python代碼一樣進行調試。不同于TensorFlow，PyTorch的報錯說明通常很容易看懂。

• 強大高效：PyTorch提供了非常豐富的模型組件，可以快速實現想法。

05 Theano

Theano誕生于2008年，由蒙特利爾大學的LISA實驗室開發并維護，是一個高性能的符號計算及深度學習框架。它完全基于Python，專門用于對數學表達式的定義、求值與優化。得益于對GU的透明使用，Theano尤其適用于包含高維度數組的數學表達式，并且計算效率比較高。

因Theano出現的時間較早，后來涌現出一批基于Theano的深度學習庫，并完成了對Theano的上層封裝以及功能擴展。在這些派生庫中，比較著名的就是本書要學習的Keras。Keras將一些基本的組件封裝成模塊，使得用戶在編寫、調試以及閱讀網絡代碼時更加清晰。

06 CNTK

CNTK（Microsoft Cognitive Toolkit）是微軟開源的深度學習工具包，它通過有向圖將神經網絡描述為一系列計算步驟。在有向圖中，葉節點表示輸入值或網絡參數，其他節點表示其輸入上的矩陣運算。

CNTK允許用戶非常輕松地實現和組合流行的模型，包括前饋神經網絡（DNN）、卷積神經網絡（CNN）和循環神經網絡（RNN、LSTM）。與目前大部分框架一樣，CNTK實現了自動求導，利用隨機梯度下降方法進行優化。

CNTK的基本特性如下。

• CNTK性能較好，按照其官方的說法，它比其他的開源框架性能都要好。

• 適合做語音任務，CNTK本就是微軟語音團隊開源的，自然更適合做語音任務，便于在使用RNN等模型以及時空尺度時進行卷積。

微軟開發的CNTK-R包提供了R與CNTK的API接口。感興趣的讀者可以通過以下網址進行學習。

• https://github.com/microsoft/CNTK-R

• https://microsoft.github.io/CNTK-R/

07 MXNet

MXNet框架允許混合符號和命令式編程，以最大限度地提高效率和生產力。MXNet的核心是一個動態依賴調度程序，可以動態地自動并行化符號和命令操作。其圖形優化層使符號執行更快，內存效率更高。

MXNet的基本特性如下。

• 靈活的編程模型：支持命令式和符號式編程模型。

• 多語言支持：支持C++、Python、R、Julia、JavaScript、Scala、Go、Perl等。事實上，它是唯一支持所有R函數的構架。

• 本地分布式訓練：支持在多CPU/GPU設備上的分布式訓練，使其可充分利用云計算的規模優勢。

• 性能優化：使用一個優化的C++后端引擎實現并行I/O和計算，無論使用哪種語言都能達到最佳性能。

• 云端友好：可直接與S3、HDFS和Azure兼容。

08 ONNX

ONNX（Open Neural Network eXchange，開放神經網絡交換）項目由微軟、亞馬遜、Facebook和IBM等公司共同開發，旨在尋找呈現開放格式的深度學習模型。ONNX簡化了在人工智能不同工作方式之間傳遞模型的過程，具有各種深度學習框架的優點。

ONNX的基本特性如下。

• ONNX使模型能夠在一個框架中進行訓練并轉移到另一個框架中進行預測。

• ONNX模型目前在Caffe2、CNTK、MXNet和PyTorch中得到支持，并且還有與其他常見框架和庫的連接器。

onnx-r包提供了R與ONNX的API接口。感興趣的讀者可以通過以下網址進行學習。

• http://onnx.ai/onnx-r/

• https://github.com/onnx/onnx-r

關于作者：謝佳標，資深AI技術專家和數據挖掘專家，擁有超過14年的技術研發和管理經驗。精通Python和Keras等深度學習框架，在數據挖掘和人工智能技術領域有非常深厚的積累。連續6年（2017~2022年）被微軟評為數據科學和AI方向MVP。資深R語言技術專家，“中國現場統計研究會大數據統計分會”第一屆理事。歷屆中國R語言和數據科學大會特邀演講嘉賓，受邀在國內多所高校舉行以數據主題的公益講座。

本文摘編自《Keras深度學習：入門、實戰與進階》，經出版方授權發布。（ISBN：9787111691501）

《Keras深度學習：入門、實戰與進階》

點擊上圖了解及購買

轉載請聯系微信：DoctorData

推薦語：十五年經驗專家撰寫，多位高管推薦；零基礎入門深度學習并迅速成為實戰高手，配套視頻+PPT。

劃重點👇

干貨直達👇

• 科普兩個著名人工智能思想實驗：圖靈測試和中文房間
  

• 產品經理最重要的3個能力
  

• 終于有人把數據挖掘講明白了
  

• 盤點人工智能重點技術領域

更多精彩👇

在公眾號對話框輸入以下關鍵詞

查看更多優質內容！

讀書?|?書單?|?干貨?|?講明白?|?神操作?|?手把手

大數據?|?云計算?|?數據庫?|?Python?|?爬蟲?|?可視化

AI?|?人工智能?|?機器學習?|?深度學習?|?NLP

5G?|?中臺?|?用戶畫像?|?數學?|?算法?|?數字孿生

據統計，99%的大咖都關注了這個公眾號

👇

總結

以上是生活随笔為你收集整理的8种主流深度学习框架介绍的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。