【AI創新者】TensorFlow貢獻者黃文堅：解讀對比13個深度學習框架后的選擇

AI創新者?Google?人工智能?深度學習?TensorFlow 閱讀5774?

【AI創新者】是CSDN人工智能頻道精心打造的專欄，本期主人公是PPmoney大數據算法總監黃文堅，他將為大家講述Google深度學習框架TensorFlow以及他與唐源共同著作的《TensorFlow實戰》一書。在CSDN學院，黃文堅老師即將開課：《使用TensorFlow創建可自動玩游戲的DQN模型》，本次課程集中講解Deep-Q Network及其TensorFlow的實現。歡迎大家報名學習、交流。

同時也歡迎人工智能相關的技術投稿、約稿、行業分析、熱點新聞、編譯等，請發送郵件至baiyan@csdn.net，期待大家投稿。

自Google AlphaGo以4:1總比分戰勝韓國名將李世石后，深度學習開始被人們廣泛關注。2月16日，Google發布了TensorFlow1.0版本，該版本的發布是深度學習框架發展中里程碑的一步。TensorFlow于2015年底正式開源，這期間TensorFlow不斷給人驚喜，并推出了分布式版本，服務框架TensorFlow Serving、可視化工具TensorFlow、上層封裝TF.Learn、其他語言（Go、Java、Rust、Haskell）的綁定、Windows的支持、JIT編譯器XLA、動態計算圖框架Fold，以及數不勝數的經典模型在TensorFlow上的實現（Inception Net、SyntaxNet等）。在這一年多時間，TensorFlow已從初入深度學習框架大戰的新星，成為了幾近壟斷的行業標準。

PPmoney大數據算法總監黃文堅

為了幫助機器學習、分布式計算領域的學生、從業者，特別是正在學習深度學習技術，立志從事AI相關行業的朋友快速上手TensorFlow，PPmoney黃文堅和Uptake唐源共同撰寫了《TensorFlow實戰》一書，希望可以幫助讀者快速入門TensorFlow和深度學習，在工業界或者研究中快速地將想法落地為可實踐的模型。日前，黃文堅接受CSDN記者專訪，介紹了他在深度學習領域的實踐經驗和成長心得，以及完成《TensorFlow實戰》一書背后的原因和故事。

以下為采訪實錄：

深度學習實踐分享

CSDN：您在什么樣的情況下第一次使用深度學習？其效果是否讓您滿意？

黃文堅：第一次接觸深度學習和神經網絡是在讀研的時候，當時是要做一個圖片二維碼，就是把QR Code黑白塊藏到一張圖片中，手機通過掃描圖片然后解出這個碼。其實從圖片上人眼是看不出任何差別的，通過特殊的頻率編碼將信息存儲在圖片中，通過神經網絡來進行解碼，使用這個幾層深的神經網絡模型做分類,即對每一個module進行解調制，然后將它的輸出結果連到LDPC糾錯碼進行整體解碼，最后再把網址信息恢復出來，當時的效果還是挺滿意的。

這是我在讀研究生時候的主要工作，后來也通過這個拿到了MobiCom的一個獎項，學校為此申請了幾個專利，也就是從那個時候開始，了解到深度學習的強大，尤其是在圖片分類這塊應用是非常強的。

CSDN：從阿里到明略再到PPmoney，您一直在和數據打交道，其中有哪些業務使用了深度學習技術？

黃文堅：在阿里，負責天貓的個性化搜索，主要是針對不同用戶，搜同一個關鍵詞時，其頁面展示的結果不同，使用戶最感興趣的排在前面。當時是使用了阿里內部的一個深度學習框架實現的，取得了一個不錯的效果；

在明略，主要是服務一些大型的企業客戶，比如銀行、券商、保險公司、制造業公司和政府機構等。以某制造業龍頭企業為例，當時是在那個企業有一個高端機械設備的故障率預測項目，我們有很多時間序列信息，也就是來自機械設備的信號接收裝置。它是每隔0.01秒甚至更短的時間就會產生一個信號，根據這些時間信號來預測未來可能出現的故障情況，這在當時也取得了很高的準確率；

在PPmoney，主要業務是金融風控、量化策略以及P2P理財產的推薦。在金融風控方面，因為我們有大量的客戶數據，這些數據可以用來判斷客戶是否容易逾期，甚至是否是一個欺詐客戶或者不良客戶，通過預測可以降低我們平臺系統的風險。此前是運用了大量特征工程的方法，但后面使用深度學習后，我們對這些特征就不用進行大量的手工處理，直接交給深度學模型即可，從而得到比其他模型更好的結果；在量化策略方面，像金融、股票、期貨這種數據天然就是以時間序列排序的，所以這種應用CNN或者RNN深度學習處理特別好。而平時我們做交易會有一些技術指標，而這些是人工提取出來的，但使用深度學習后，讓這個模型自己根據歷史的數據總結出最有價值的特征，從而減少人工操作的部分，雖然可解釋性不強，但實際的效果會非常好。

關于“TensorFlow實戰”

CSDN：各種深度學習開源工具讓DL變得更簡單，但TensorFlow是在2015年才開源，在此之前，您嘗試過哪些DL框架？如何看待它們的優缺點？

黃文堅：在這本書中詳細比較了十個最為常見的深度學習框架，而在使用TensorFlow之前，早期主要有Theano、Keras、Caffe、Torch等這幾個開源框架。

當時學術界應用較多的是Theano，同時Theano也是和TensorFlow最像的深度學習框架，可以說TensorFlow是它的一個升級版。它們都支持符號計算和自動求導，但在Theano里限制比較多，如它的編譯速度特別慢，它的整個代碼包括CUDA的代碼，都是寫在Python文件里，CUDA代碼是以字符串的形式存在Python文件中，使用起來不是特別方便，同時運行速度也比較慢，這也限制了Theano在大規模的工業應用上的應用；

Keras當時是構建在Theano上的一個上層封裝，現在他也支持構建在TensorFlow上，它是一個極簡的深度學習框架，可能只用幾行或者十幾行就能實現一個非常復雜的神經網絡。當然，它的缺點也很明顯，就是它的底層當時是基于Theano，所以運行速度、功能會有一定限制，同時也不能支持多GPU或者分布式；

Caffe當時應該是最火的開源框架，它主要是使用一個二進制文件，通過執行訓練或者預測命令。而它的網絡是通過寫一個Protobuf格式的文件來定義的，所以它調試參數或者調試網絡結構時不是很方便，但它的訓練速度確是幾個框架中最快的，而且針對卷積神經網絡優化做的特別好。而缺點就是剛剛提到的，當要進行大量的實驗時，不是特別方便，因為它的配置文件和它的二進制程序不太適合在Python中反復修改和調試；

關于Torch，這個是Facebook的開源框架，歷史比較悠久，最開始是使用Lua語言編寫，平時執行的效率非常高，可能會比Python高幾十倍。但該框架的問題在于應用的語言比較小眾，使用的人相對比較少，學習成本較高以及語言內部的配套組件相對較少等。而在Python中，有Pandas、NumPy、XGBoost、Scikit-learn等配套組件，應用起來特別方便。但Torch使用的Lua中就缺少這些東西，所以使用起來不是很方便，同時它框架本身跟Keras比較像，Keras借鑒了Torch，在定義網絡的時非常簡潔。但如果從來沒有使用過Python或者沒有使用過Keras的人，嘗試一下這個框架也是可以的，最近Torch也推出了Python的版本叫PyTorch，從某些角度上解決了它語言本身的問題。

CSDN：您寫《TensorFlow實戰》這本書的初衷和動力是什么？這本書適合的閱讀對象是誰？讀者有哪些收益？他們需要一些知識基礎嗎？

黃文堅：當時是在一個技術分享活動結束后，電子工業出版社有位編輯聯系我，咨詢我是否有興趣寫一本這樣書。其實我聽后還是非常感興趣的，因為TensorFlow也才剛火起來不久，正好國內使用的人還不多，希望通過一本入門同時包含一些經典網絡實現的書籍，能讓大家更熟悉這個開發框架，用它能做出更多有用的模型。

這本書適合閱讀的對象應該是對深度學習有一定了解，同時對Python編程比較熟悉的人士。不需要對深度學習理解特別深，因為在書中對各個神經網絡的原理和結構也有很多的解釋，讀者需要了解什么是神經網絡和機器學習的一些基礎概念，比如說訓練集、測試集、準確率評價等等。

而讀者的收益主要包含兩個方面，一方面如果讀者對深度學習不是太熟悉和了解，在本書中能夠學到各個類型的神經網絡，比如說自編碼器、多層感知機、卷機神經網絡、循環神經網絡、深度強化學習等等；另一方面讀者可以使用TensorFlow來實現一些經典模型或者網絡。書中會通過實際的例子，也就是具體實現什么模型，順帶講解TensorFlow的代碼和API接口，整個初衷還是通過實現一些經典的模型，以此構成整本書的發展。

CSDN：寫作過程中有哪些有趣的事可以分享給大家？

黃文堅：開始寫作時并沒有覺得工作量這么大，但在寫的過程中發現需要花費的時間還是非常多的。在講解一些網絡實現時也查閱了大量的相關論文，從中也學到了很多東西。希望能把這些內容分享給讀者，因為深度學習是一個發展非常迅速的領域，基本每年都會有很多新的東西出來，可能在最新的一些論文中，大家都開始使用TensorFlow來實現，在此之前都是運用Caffe，這也是學習TensorFlow的一個優勢，即能最快地跟上一些最新的技術發布，如果有新的論文研究成果開源，其絕大多數也是使用TensorFlow來實現的。

CSDN：書中有哪些重點內容是尤其推薦的？

黃文堅：《TensorFlow實戰》的第六章介紹TensorFlow實現經典卷積神經網絡，中間有詳細講解AlexNet、VGG、Inception和ResNet這四個經典的深度學習網絡，推薦大家重點閱讀。因為從中可以看到卷積網絡中各個應用和實現起來的技巧。?
第八章介紹深度強化學習，這塊能做出很多有意思的東西。比如可以實現自動玩游戲的程序，通過游戲的視頻畫面像素直接學習如何來進行游戲。在此我們也列舉了實例，是個簡單的游戲，實際上是可以推廣到非常復雜的模型。像之前DeepMind推出的程序是可以在太空中自動來玩打飛機的游戲，這個游戲叫Atari。在本書中并沒有實現那么復雜的網絡，但整體的框架和Atari是類似的，讀者可以通過它來進行其他游戲的嘗試。

CSDN：對開發者選擇深度學習平臺有什么建議？

黃文堅：對大部分開發者而言選擇深度學習框架有三點特別重要，首先這個框架是不是主流的，如果是主流的就會在上面有很多的開源實現，從而查找資料、文檔，問問題也會比較方便，這也是最重要的一點。而且它會比較穩定，使用中遇到的問題多半可以得到快速修復；

其次使用它開發起來的效果，簡單來說就是寫的速度快不快。TensorFlow的設計是比較偏底層的，但它上層有很多比較方便的封裝，比如說TFLearn、TFSlim、Keras。有了這些上層封裝后，我們就能快速的進行一些簡單模型的開發。如果要對底層網絡結構進行一些細節上的修改，我們就可以使用最底層的API接口；

最后是該平臺的運行速度，TensorFlow在剛剛推出時，它的運行速度還不是很快，后來則是憑借谷歌強大的工業實力，尤其是Google強大的技術團隊，大約有200人從事該平臺的開發，所以它在性能上的進步非常大，現在基本上已經達到主流分布式深度學習平臺的執行效率。

最近Google發布了TensorFlow1.0版本，并且還特意提到對Inception v3分布式網絡性能的提升。此前多塊顯卡或者多機器的效率不高，而現在使用8塊顯卡可以達到7.3倍的提速，64塊顯卡更是達到56倍的速度提升，所以它并行計算的效率還是非常高的。所以綜合比較來說，還是推薦TensorFlow，畢竟它在主流性、開發的便捷性上，還有執行速度上都有不錯的表現。

人工智能未來預測

CSDN：目前深度學習相關的論文和工業界實踐都很多，其中有哪些最新進展讓您印象深刻？

黃文堅：?AlphaGo無疑給人們留下了深刻印象，主要是深度強化學習，對強化學習過程的一些細節有所改進，但是對網絡本身的內容以及結構改進和優化并不多。

另外一個特別火的就是GAN這系列，GAN已經能做非常有意思的事情，比如給它大量的語言和圖片進行數據訓練，它可以完成事務的描述，比如我說一只紅色的鳥，它就能自動把這只紅色的鳥繪制出來，從無到有就是根據它從大量數據中的學習，以及掌握到的知識和經驗實現的。拓展開來，以后可能不僅是圖片，可能說一個內容概述，它就能把一段完整的話寫出來。

最近一個能給給素描自動上色的人工智能程序，其效果也是非常驚艷的它把一個鉛筆素描或者一幅黑白畫，傳至網絡上，并自動配上一個比較合適的顏色。我也親自在該網站測試了一次，雖然說可能還達不到人類的程度，但此效果已經非常理想了。

CSDN：有人認為AlphaGo能贏李世石一局就不錯了，但現在AlphaGo的升級版Master已經橫掃各大國手，出現這個”意外”的決定性因素有哪些？

黃文堅：起初，圍棋是一個非常復雜的一個游戲，它有361個點，所以其狀態數是3的361次方，其中除去一些非法的情況，總的狀態數還是超過了整個宇宙原子的數量。因為變化實在太多，所以注定是無法窮舉的。與國際象棋不同，現在只要計算能力夠強，我們便可以暴力地搜索所有最優解，但在圍棋上肯定是做不到的，所以之前業界普遍認為圍棋是一個人工智能無法超越或者無法挑戰的項目。

但AlphaGo做的確實非常好，它是使用了幾個技術組合，就包括策略網絡、估值網絡、蒙地卡羅搜索樹、快速走子這四部分。通過大量學習人類高手的對局以及自我對戰，從中可以學到人類直覺上的一些戰略。比如它對棋的厚薄會有一些判斷，會對外勢和實地會有一些考量，所以能以4:1戰勝李世石。

之后AlphaGo的升級版Master則是完全拋棄了使用人類高手對戰訓練的一個網絡，它是完全從0開始，自我對戰，可能一開始是隨機走子，到后面一步一步迭代，訓練到現在這個水平。中間可能會拋棄掉很多人類棋手常見的錯誤，畢竟人類高手下的每步棋也不是最優解，即便學了大量的對局還是存在這個問題。但從0開始自己學習其效果可能會更好，這也是這次棋力提升的一個重大原因之一。

當然它可能還有使用到更深的網絡，更好的訓練方式，但是這里不管它是使用什么算法，它的底層肯定還是配置在TensorFlow這個集群上訓練，所以也間接說明TensorFlow這個分布式計算或者它的科研能力還是非常強的，可以供給DeepMind研發出這樣強的一個AI。

CSDN：對于AI在行業成熟應用有哪些啟示？

黃文堅：?AlphaGo一般來說不算一個成熟的應用，但它是一個特別好的宣傳，成熟的應用目前更多還是在普通的判別模型或者是生成模型上。強化學習的話，目前比較穩定又有實際經濟價值的點不是很多。像之前使用傳統機器學習的地方，例如搜索推薦、廣告，包括醫學診斷，這塊會大量應用深度學習，并且深度學習確實取得了遠超其他傳統模型的效果。

而在一些離錢近的方向，包括金融領域、風控、量化交易模型，在這塊應用的規模比較大。在其他領域，像醫療診斷、自動駕駛亦或管理家庭生活，如Facebook CEO馬克·扎克伯格前段時間就開發了一個叫Jarvis的AI程序，主要就是管理家庭生活中的一些操作。

總的來講，并不是看上去最有轟動效果的實際價值就越大，很多時候可能是一些底層看不到的，比如說你今天被推薦了什么東西這類傳統的推薦技術，這部分會慢慢開始使用深度學習，然后來替代之前一些老舊的機器學習模型。

CSDN：Chatbot是當前一個熱點，DL powered assistant在數據積累和利用比較好的金融領域會首先成熟嗎？

黃文堅：?Chatbot目前來說挺有用，比如智能客服這類，會有直接的商業價值，但其中深度學習應用的點不是很多，更多是對規則和大量模板的匹配。而隨機閑聊是可以用DL做出比較好的效果，例如讓它回答的答案特別準確，但目前還沒有實際的價值。

而DL powered assistant目前還處于早期階段，當然有一些比較好的宣傳，如國外有一家名為Kensho的AI企業，設計了一款針對金融領域的AI程序，目前看上去還沒那么智能，很難給出決策或者建設性的意見。

但平時我們可以先從一些小的角度來思考問題，如深度學習能做得事情大概有三種，其一就是判別式，包括分類和回歸；其二是生成式，包括生成語言和生成圖像；其三是深度強化學習，可以對我們一系列的決策提供策略上的支持。如果不在這三個領域內，目前而言還是比較困難，理想中的人工智能還是比較遙遠。

CSDN：有人說DL概念已經到了轉折點，有人說GAN其實在以前就已經有類似的應用，計算、大數據和模型帶來的深度學習紅利是否已經見底？

黃文堅：深度學習當前正好處在發展中期的階段，神經網絡這個概念很早就被提出來，可能是在幾十年前，當時的確轟動了一段時間，但受制于計算資源等問題之后便消沉了。而這次崛起一個方面是NVIDIA的GPU對深度學習提供了強大的計算資源，另外一個是我們積累了大量數據，其實深度學習對于數據量還有計算能力的要求是非常高的，一旦滿足這兩個條件就會獲得非常好的效果，所以目前我并不認為深度學習概念已經到了轉折點，而是處于加速上升的階段。

但需要注意的是，有些報道中會把深度學習描述的無所不能，其實目前還是達不到的，現在我們能做的就是前面提到的那三個點，即判別式、生成式以及強化學習。這三個點還在持續的發展中，并且效果會越來越好，此后會有更多應用被人想到并付之行動最后被實施起來。

而GAN在此之前確實有一個跟它類似的概念，但兩種方法從原理上是完全不一樣的，所以GAN是一個全新概念。之后在并行計算和數據規模積累上，我相信會持續給深度學習帶來額外的紅利，如NVIDIA的GPU每年都會有50%左右的性能提升，之后可能會有專門針對深度學習的芯片和硬件被研發出來，包括Google在底層也在大規模使用它的TPU（Tensor Processing Unit），計算資源肯定會被不斷提升，也會支持我們訓練更加復雜的神經網絡。

而大數據是最近這幾年，其積累的數據量呈爆炸式增長，因為有特別多的東西可以被數字化，也包括物聯網等。很多不為人們所知的Sensor會默默記錄大量的數據，而這些數據未來又會給我們訓練模型提供很好的幫助。

CSDN：對未來深度學習平臺發展有哪些預測？

黃文堅：目前每家大公司都已經推出了自己的深度學習平臺，如Google有TensorFlow；Facebook有Torch，可能接下來還會有Caffe2；Amazon有DSSTNE深度學習框架，最近它也接納了MXNet作為AWS上最為推薦的深度學習框架；微軟有CNTK；IBM最近也推出了一個名為Big DL的框架，是一個純粹在CPU上計算的分布式深度學習框架。

基本上每家企業都有自己的DL平臺，主要是為參與其標準的制訂。如果哪家企業推出的框架，無論是在使用人數還是在應用面方面都有出色的表現，到后面的話語權也可能會最大，而且在框架上的一些應用，可以更靈活的進行操控，所以有實力的企業肯定會投入特別大的支持和資源。

但總體而言，我還是比較看好Google的TensorFlow，目前它最大的問題就是開發效率，Google已經還把Keras框架并到其中，作為它默認支持的一個輔助開發工具。現在我們就不用再使用幾百行代碼來實現一個復雜的網絡，只需幾十行代碼就能搞定。當你需要在底層上進行一些微調，或者細節上做一些改進時，你同樣可以使用最底層的接口，來實現一些當前不是特別流行或特別主流的方法，對于研究者而言也是非常方便的。

此外Google除了TensorFlow還推出了很多相關工具，比如它推出了tensorflow serving的服務框架，當我們訓練好模型后，需要將它部署到服務器中提供預測服務，又或者是其他類型的計算服務。而其他幾個框架部署還是比較復雜的，但TensorFlow提供了這個框架，就能實現特別高性能的部署服務。同時它還支持安卓和iOS以及嵌入式，所以應用面會特別廣。現在已經可以在手機上，使用手機的CPU來計算運算深度學習的一些網絡。

同時Google在這方面的投入應該也是最大的，目前有遠超其他公司的研發人員，在全職做這一套工具，同時在GitHub上的Start數量也是遙遙領先其他框架，目前可能是有46000顆星，可能從第二名到第十名加起來也沒有TensorFlow多，所以這是一個非常明顯的優勢。

總結

以上是生活随笔為你收集整理的TensorFlow贡献者黄文坚：解读对比13个深度学习框架后的选择的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。