新智元原創1

作者：王嘉俊 王婉婷

TensorFlow 是 Google 第二代深度學習系統，今天宣布完全開源。TensorFlow 是一種編寫機器學習算法的界面，也可以編譯執行機器學習算法的代碼。使用 TensorFlow 編寫的運算可以幾乎不用更改，就能被運行在多種異質系統上，從移動設備（例如手機和平板）到擁有幾百臺的機器和幾千個 GPU 之類運算設備的大規模分布式系統。

TensorFlow 降低了深度學習的使用門檻，讓從業人員能夠更簡單和方便地開發新產品。作為?Google 發布的“平臺級產品”，很多人認為它將改變人工智能產業。

在聽到 Google TensorFlow 開源消息后，新智元的異構計算專家微信群里有很多討論。這些討論非常有價值，從專業人士的角度解讀了 TensorFlow 的優劣利弊。

所以新智元決定連夜采訪，收集資料，期待用最快的速度把 Google TensorFlow 的討論和介紹呈現給大家。

在此，特別感謝為我們提供支持的Petuum團隊的邢波教授，張浩同學、謝澎濤同學和戴維同學，以及朱軍和李寧同仁。另外，Janet Zhao?陪伴我們共同完成這篇文章，帶來不少幫助。

【邢波Eric】各位，本來不想置評TF的，因為他們和我們的工作是一片果園和一株果樹的區別，但是既然很多誤解直接找上我們，也不得不被迫應戰了，希望能解答一些迷惑。下文由CMU Petuum團隊的張浩，謝澎濤，戴維，以及同仁朱軍，李寧貢獻，我做了一些修改：

以下是新智元對CMU Petuum團隊的采訪：

新智元：TF 能否做到 Google 所說的第二代深度學習系統平臺級產品？為什么能or不能，如果不能的話，TF扮演的是什么角色，對應于傳統工具諸如 Spark、Petuum 的什么？

Petuum團隊：TF與Spark和Petuum并不具備可比性，TF大概僅對應于Spark里面的MLlib庫，或對應于Petuum里面的深度學習框架。

展開來說：

第一，從深度學習的角度來分析，TF目前尚缺乏很多系統方面對deep learning的設計和優化（比如在訓練深度卷積神經網絡時，可以利用CNN的結構特性以及算法特性在系統方面，給出對應的優化，降低內存使用，減少通信負載等），所以TF還不能稱為一個specialized 的DL庫。

第二，Google在白皮書上展望了TF是一個分布式系統上的機器學習框架。但是從目前Tensor Flow的release來看，他們只支持單機多卡，不支持多機的分布式環境。就深度學習這個具體方向上，目前public available的不支持分布式的DL庫已經有10個以上，Google當前發布TF作為一個general-purpose的產品，定位有待進一步觀察；

第三，一個專業的技術產品在發布之前最好服從專業標準，在專業dataset上進行性能測試，并與其它類似框架進行比較；Tensor Flow缺乏公開的評測數據，具體性能如何有待進一步探討。

第四，業界會繼續關注的是Google此前收購的在公司內部具有特殊地位的DL公司Deepmind仍在使用Torch和Caffe，未來他們是否會近水樓臺使用TensorFlow或Distbelief，大家拭目以待。

新智元：谷歌在宣傳視頻中提到，TensorFlow可以帶來更好的靈活性和更廣的適用性。主要有賣點有：異質平臺全通用，上到大規模分布式系統，下到常見的手機和平板；平臺遷移時重寫代碼的代價非常小；從研究室的模型試驗到產品開發者的產品部署，代碼無縫銜接無需更改。這些賣點有意義嗎？有多大的意義？對誰更有意義？

Petuum團隊：首先這些靈活性和廣適性更像是TensorFlow的愿景和展望，尚沒有公開的數據或案例表明TensorFlow做到了這一點。異質計算平臺上的通用性和平臺遷移的容易性是很多機器學習系統追求的目標。很高興看到Google也有這樣的愿景。

新智元：我們看到這次 TF 并沒有發布比較數據，你怎么看待這件事情？

Petuum團隊：通過發布嚴格的比較數據來證實一項技術取得了超越性的進展，是業界的一個基本要求。 在Google公開具體比較數據之前，TensorFlow的性能和優勢無法具體評估。

新智元：張浩提到 TF 不支持分布式計算，而 Google 公布信息是支持分布式和單機？是否沖突？單機和分布式，在應用上的差別是什么？

Petuum團隊：Google本次發布的TF并不支持分布式。單機和分布式在應用上的差別是前者無法支持大規模數據或模型的高速高精度學習。

新智元：TF 主要會給產業帶來什么變化？對于資深的機器學習研究者，或者說學術圈，TF 有幫助么？

Petuum團隊：TF現有的開源版本只支持單機，對產業和學術圈的貢獻比較有限。類似的單機深度學習工具已經比較豐富，比如Caffe, Torch, Theano。與這些工具相比，TF目前尚未顯示具體優勢。業界會進一步關注TF是否準備開源分布式版本及其性能。

新智元：TF 和現有開源或者未開源的機器學習和神經網絡算法相比，優勢和劣勢分別是什么？

Petuum團隊：TF中的兩個核心概念，數據流和張量，在之前的很多系統中已有實現。對于TF的開源單機版本，尚未有數據表明其與現有的其他單機深度學習工具相比擁有任何具體優勢。TF分布式版本不知是否會開源，目前難以評價其性能。據Google工程師Rajat Monga說，TF分布式版本的很多代碼與Goolge的其他系統代碼耦合，給開源造成困難。

新智元：TF 和 PETUUM 的應用領域相同么？對于初創企業，這兩個系統各有什么優劣？

Petuum團隊：Petuum 是通用平臺(general-purposed platform)支持多種算法，模型，通訊協議，調度，容錯，等等。而目前發布的TF則是專門支援深度學習的一個垂直軟件包。如果就深度學習這個具體方向來比較，TF和Petuum Poseidon 可比，但后者是Petuum平臺上的一個垂直應用模塊，專事CPU和GPU多機分布式和單機上的深度學習，二者都提供了高階簡易的編程界面以及GPU和CPU支援多種深度模型（如CNN、DNN等）。至于深度學習以外的機器學習模型和算法，目前看來并不是TF支持的重點。Petuum的定位則是用通用的界面來做分布式學習，例如，Petuum開源的基于隨機采樣算法的大規模主題模型，基于坐標下降算法的稀疏回歸分析和協同過濾等?？傮w說來，Petuum和TF是針對不同層面的問題，以不同的思路和框架設計的而建立的不同層面的系統。Petuum走的是通用機器學習（包括深度學習）平臺路線，TF則是關注深度學習的專門應用系統，后者對應于Petuum框架下的模塊之一機器學習工具庫中的Poseidon深度學習系統。面對業界的具體應用場景，各個初期創業公司可以根據具體問題的需求來選擇。

介紹：Google TensorFlow（翻譯自 Google Research Blog）

深度學習在計算機科學有非常大的影響，令它能夠被運用在最前沿的研究中，又能開發出實用性高到讓人驚喜的產品、無數人每天都在使用。

我們 2011 年發布了深度學習基礎架構 DistBelief，它讓 Google 能夠通過數據中心存儲的成千上萬的數據來進行前所未有的大規模訓練，建立起Google史上最大的神經網絡模型。我們展示了一些例子，例如從 Youtube 上沒有被標記的圖片中學會識別出“貓”（也就是學會“貓”這個概念），將 Google 應用中的語音識別水平提高25%，也贏得了 Imagenet Large Scale Visual Recognition Challenge 的冠軍。

雖然 DistBelief 非常成功，但它有很大的限制。它僅僅以神經網絡為目的、十分局限，而且很難進行配置，另外它牢牢綁定在 Google 的內部基礎設施上，幾乎不可能將代碼與外界共享。

今天我們很自豪地發布了一款開源軟件：TensorFlow，第二代機器學習系統，設計上尤其針對克服 DistBelief 的短板。TensorFlow 更通用、靈活、易攜帶、易使用，而且完全開源。同時，我們也在 DistBelief 的基礎上改善了運行速度、可擴縮性和與產品的銜接。實際上，在很多指標上，TensorFlow 要比 DistBelief 要快一倍。

獨家視頻翻譯

allowfullscreen="" class="video_iframe" frameborder="0" height="375" width="500" src="http://v.qq.com/iframe/preview.html?vid=x0172s0j1fm&width=500&height=375&auto=0" style="margin: 0px; padding: 0px; max-width: 100%; width: 523px; z-index: 1; box-sizing: border-box !important; word-wrap: break-word !important;">

TensorFlow 自帶大量的深度學習支持，但并不只是為了深度學習而生，也有一些更通用的支持：任何你可以表達成流程圖的計算，你都可以使用 TensorFlow 來完成運算。所以任何基于梯度的機器學習算法都能受益于 TensorFlow 的自動微分和最優程序組。不僅如此，你也很容易就能通過 Python 的前端，在 TensorFlow 編寫你的新靈感。

TensorFlow 在研究中相當有用，但它也已經做好了應用于實際產品的準備。TensorFlow 在最初建立的時候，就被設定為快速、輕便而且與產品銜接迅速。使用 TensorFlow，無論是訓練桌面端的 GPU 還是在手機里運行，都沒有多大差別。而且，通過使用我們采用最新科技制作的模板結構，你可以用強大的機器學習科技快速開始實施你的想法。例如，我們計劃在近期公布 TensorFlow 在 ImageNet 計算機視覺模型的應用。

但是關于 TensorFlow 最重要的事情是，它是屬于你的。我們已經把 TensorFlow 開源，作為獨立的庫和相關的工具，建立在 Apache 2.0 的基礎上，所以無論你是誰，都可以把它免費運用在你的研究中。

我們所有的深度學習實驗，都使用了 TensorFlow 架構。我們的工程師通過它把深度神經網絡信號放到了 Google 搜索中。我們會持續使用 TensorFlow 來服務于機器學習的產品，而且我們的研究團隊，也會分享 TensorFlow 在各大公開的想法中的實施情況。更多的信息，請在 www.tensorflow.org 中了解。

技術摘要：異質分布式系統上的大規模機器學習（翻譯自 TensorFlow 白皮書）

TensorFlow是一種編寫機器學習算法的界面，也可以編譯執行機器學習算法的代碼。使用TensorFlow編寫的運算可以幾乎不用更改地被運行在多種異質系統上，從移動設備（例如手機和平板）到擁有幾百臺機器和幾千個GPU之類的運算設備的大規模分布式系統。TensorFlow的系統靈活性很強，可以用來編寫各式各樣的算法，包括深度神經網絡模型的訓練和干擾算法，并且它已經被用于實驗研究中，也被部署在產品的機器學習系統中，已經被應用于十幾種計算機科學以及其他學科的領域中，包括語音識別、機器視覺、機器人學、信息檢索、自然語言處理、地理信息提取以及計算機輔助藥物設計。

白皮書全文（19PDF）

在新智元訂閱號回復1110下載白皮書全文

白皮書全文（19PDF）

在新智元訂閱號回復1110下載白皮書全文

邢波 卡內基梅隆大學計算機系，機器學習系教授，機器學習與醫療健康中心主任
寄語： “我們從來不乏熱忱，夢想，全民動員，與旺火添柴者，但科學與實業都更需要嚴謹，踏實，誠實，理性，厚積薄發，甘於寂寞獨行，敢於整面競爭的精神和實踐者。祝願并期待【新智元】示範學界業界清風，增進學術與工業互動，孕育計算機和數字信息時代的新成果和思想。" _______________

總結

以上是生活随笔為你收集整理的深度解析】Google第二代深度学习引擎TensorFlow开源（CMU邢波独家点评、白皮书全文、视频翻译）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。