深度学习：推动NLP领域发展的新引擎
深度學習：推動NLP領域發展的新引擎
深度學習?NLP?Attention?Memory文 / 雷欣，李理
從2015年ACL會議的論文可以看出，目前NLP最流行的方法還是機器學習尤其是深度學習，所以本文會從深度神經網絡的角度分析目前NLP研究的熱點和未來的發展方向。
我們主要關注Word Embedding、RNN/LSTM/CNN等主流的深度神經網絡在NLP中的應用，這已經是目前主流的研究方向。此外，已經在機器學習或其它領域比較熱門的方法，比如Multi-Model、Reasoning、Attention and Memory等，很有可能是未來NLP研究的熱點，我們將著重關注。
Word Embedding
在Word2vec被Mikolov提出之后，由于它能把一個詞表示成一個向量（可以理解為類似隱語義的東西），這樣最小的語義單位就不是詞而是詞向量的每一維了。比如我們訓練一個模型用來做文本分類，如果訓練數據里都是用“計算機”，但測試數據里可能用的是“電腦”，用詞作為最基本單位（比如Bag of Words)，我們學出來的模型會做出錯誤的判斷。但是如果我們用一個很大的未標注的語料庫來訓練一個Word2vec，我們就能知道“計算機”和“電腦”語義是相似的，因此它們的詞向量也會是類似的，比如100維的詞向量某一維和計算機相關，那么“計算機”和“電腦”的詞向量在這一維度都會比較大，用它作為基本單位訓練模型后，我們的模型就能利用這一維特征正確地實現分類。當然如果數據量足夠大，可以把模型的參數和詞向量一起訓練，這樣得到的是更優化的詞向量和模型。
但是Word2vec忽略了一些有用的信息，比如詞之間的關系（句法關系）、詞的順序、以及沒有利用已有的外部資源。針對這些問題，有很多改進的工作。
引入詞的關系
最常見的思路就是用Dependency Parser，把抽取出來的Relation作為詞的Context。
改進Bag of Words
有人認為詞（Word）的粒度也太大，可以到Character級別的，或者Morpheme級別的。
外部資源和知識庫
Word2vec只使用了詞的上下文的共現，沒有使用外部的資源如詞典知識庫等，因此也有不少工作對此進行改進。
RNN/LSTM/CNN
RNN相關的模型如LSTM基本上算是解決結構化問題的標準方法了，相比于普通的FeedForward Network，RNN是有“記憶”能力的。
普通的神經網絡只會在學習的時候“記憶”，也就是通過反向傳播算法學習出參數，然后就不會有新的“記憶”了。訓練好了之后，不管什么時候來一個相同的輸入，都會給出一個相同的輸出。對于像Image Classification這樣的問題來說沒有什么問題，但是像Speech Recognition或者很多NLP的Task，數據都是有時序或結構的。比如語音輸入是一個時序的信號，前后幀的數據是相關的；而NLP的很多問題也都是序列或者層次的結構。
RNN擁有“記憶”能力，如圖1所示，前一個輸出是會影響后面的判斷的。比如前一個詞是He，那么后面出現is的概率比出現“are”的概率高得多。最簡單的RNN直接把前一個時間點的輸出作為當前輸入的一部分，但是會有Gradient Vanishing的問題，從而導致在實際的模型中不能處理Long Distance的Dependency。目前比較流行的改進如LSTM和GRU等模型通過Gate的開關，來判斷是否需要遺忘/記憶之前的狀態，以及當前狀態是否需要輸出到下個時間點。比如語言模型，如果看到句子“I was born in China, …. I can speak fluent Chinese. ”，如果有足夠的數據，LSTM就能學到類似這樣東西：看到“I was born in”，就記住后面的單詞“China”，當遇到“speak”時，就能知道后面很可能說“Chinese”。而遇到“Chinese”之后，其實就可以“忘掉”“China”了。
圖1 RNN擁有“記憶”能力
CNN（LeNet）最早是Yann Lecun提出用來解決圖像識別的問題的一種深度神經網絡。通過卷積來發現位置無關（Translational Invariance）的Feature，而且這些Feature的參數是相同的，從而與全連接的神經網絡相比大大減少了參數的數量，如圖2所示。
圖2 CNN深度神經網絡
最近CNN相關的改進模型也被用于NLP領域。今年的ACL上有很多RNN/LSTM/CNN用來做機器翻譯（Machine Translation）、語義角色標注（Sematic Role Labeling）等。
Multi-model Deep Learning
這是當下的一個熱門，不只考慮文本，同時也考慮圖像，比如給圖片生成標題（Caption）。當然這和傳統的NLP任務不太一樣，但這是一個非常有趣的方向，有點像小朋友學習看圖說話。
這樣的實際應用非常多，比如像Facebook或者騰訊這樣的社交平臺每天都有大量的圖片上傳，如果我們能給圖片生成標題或者摘要，就可以實現圖片的文本搜索以及語義分析。
圖3來自Google DeepMind的論文，根據圖片自動生成Caption，很好地為圖片做了文本摘要。
圖3 根據圖片自動生成Caption(圖片來自Google DeepMind的論文Show and Tell: A Neural Image Caption Generator)
Reasoning, Attention and Memory
前面說RNN/LSTM是試圖模擬人類大腦的記憶機制，但除了記憶之外，Attention也是非常有用的機制。
Attention
最早Attention是在《Recurrent Models of Visual Attention》這篇文章提出來的，它的主要思想是：人在看一個視覺場景時并不是一次看完，而是把注意力集中在某個區域，然后根據現有的數據決定下一次把注意力放到哪個地方（筆者的理解：比如我們看到的圖片是一條蛇，我們先看到蛇的頭部和它彎曲的角度，根據我們對于蛇的先驗知識，那么我們可能推斷它的身體在右下的某個地方，我們的注意力可能就會直接跳到那個部分）。
這篇文章提出的RAM（Recurrent Attention Model）模型：它把Attention當成一個順序決策問題，決策Agent能夠與視覺環境交互，并且有一個目標。
這個Agent有一個傳感器能探測視覺場景的一部分，它通過這些局部數據抽取一些信息，但是它可以自主控制傳感器的運動，也能做出決策來影響環境的真實狀態。每次行動都會有獎勵/懲罰（可能是延遲的，就像下棋一樣，短時間看不出好壞，但多走兩步就能看出來了），而Agent的目標就是最大化總的獎勵。這個模型優化的目標函數是不可導的，但可以用強化學習來學出針對具體問題的策略（筆者的理解：比如識別一條蛇，我可能有一種探測路徑，但識別章魚，我可能有另一種路徑）。
另外，關于Attention，Google DeepMind的一篇論文《DRAW：A Recurrent Neural Network For Image》有一段非常好的解釋：
當一個人繪畫或者重建一個視覺場景時，他能自然地用一種順序迭代的方式，每次修改后重新評估它。粗糙的輪廓逐漸被更精確的形狀代替，線條被銳化，變暗或者擦除，形狀被修改，最終完成這幅圖畫。
從上面的分析可以看出，Attention除了模仿人類視覺系統的認知過程，還可以減少計算量，因為它排除了不關心的內容。而傳統的模型如CNN，其計算復雜度就非常高。另外除了計算減少的好處之外，有選擇地把計算資源（注意力）放在關鍵的地方而不是其它（可能干擾）的地方，還有可能提高識別準確率。就像一個人注意力很分散，哪都想看，反而哪都看不清楚。
Attention最早是在視覺領域應用，當然很快就擴展到NLP和Speech。
做Summary：Alexander M. Rush, Sumit Chopra, Jason Weston. A Neural Attention Model for Sentence Summarization. 2015. In Proceedings of EMNLP.
Word Embedding: Wang Ling, Lin Chu-Cheng, Yulia Tsvetkov, et al. Not All Contexts Are Created Equal: Better Word Representations with Variable Attention. 2015. In Proceedings of EMNLP.
Speech領域：Attention-Based Models for Speech Recognition. Jan Chorowski*, University of Wroclaw; Dzmitry Bahdanau, Jacobs University, Germany; Dmitriy Serdyuk, Université de Montréal; Kyunghyun Cho, NYU; Yoshua Bengio, U. Montreal. 2015. In Proceedings of NIPS.
其它的應用，比如Multimodel，Image的Caption生成：Kelvin Xu, Jimmy Ba, Ryan Kiros, et al. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. 2015. In Proceedings of ICML. Karl Moritz Hermann, Tomá? Ko?isky, Edward Grefenstette, et al. Teaching Machines to Read and Comprehend. 2015. In Proceedings of NIPS.
前面最早的Attention Model是不可導的，只能用強化學習來優化，也被叫做Hard Attention，也就是把注意力集中在離散的區域；后來也有Soft的Attention，也就是在所有的區域都有Attention，但是連續分布的。Soft的好處是可導，因此可以用梯度下降這樣的方法來訓練模型，和傳統的神經網絡更加接近。但壞處就是因為所有的區域都有值（非零），這就增加了計算量。用個不恰當的比方，一個是稀疏矩陣，一個是稠密的矩陣，計算量當然差別就很大。
也有一些工作嘗試融合Soft和Hard Attention的優點。
Memory的擴展
前面說到RNN，如LSTM，有Memory（記憶），很多模型對此也進行了拓展。
比如Neural Turing Machine (Neural Turing Machines. Alex Graves, Greg Wayne, Ivo Danihelka. arXiv Pre-Print, 2014)，NTM用一句話描述就是有外部存儲的神經網絡。如圖4所示。
圖4 NTM
Turing Machine有一個Tape和一個讀寫頭，Tape可以視為Memory，數據都放在Tape上，TM的控制器是一個“程序”，它讀入Tape上的輸入，然后把處理結果也輸出到Tape上。此外Turing Machine還有個當前的State。
而NTM的控制器是一個神經網絡（Feedforward的或者Recurrent的如LSTM），其余的都類似，只是把古董的Tape換成了現代的尋址更方便的Memory，Input和Output也分離出去的（看起來更像是現代體系結構下的計算機）。
我們傳統的編程其實就是編寫一個Turing Machine，然后放到Universal Turing Machine上去運行（UTM和TM是等價的，UTM是能運行TM的TM）。傳統的編程比如寫一個“Copy”程序，我們知道輸入，也知道期望的輸出，那么我們人腦來實現一個程序，我們用程序這種“語言”來表達我們的想法（算法）。
而NTM呢？它希望給點足夠多的輸入/輸出對（訓練數據），Controller（神經網絡）能學習出“程序”來。
程序真的可以“學習”出來嗎？程序員怎么“證明”它寫的算法的正確性呢？
關于人類學習的歸納和演繹的爭論。我覺得人類的學習都是歸納的，我們每天看到太陽從西邊出來，因此“歸納”出太陽從西邊出來這個結論，但是我們永遠無法證明（演繹）出這個結論。演繹似乎只有“上帝”（或者數學家，哈哈，他們是上帝他們定義一些公理，然后不斷演繹出整個體系，比如歐氏幾何的五大公理演繹出那么多定理）才有的特權，他定義了宇宙的運轉規律，然后一切都在這個規律下運作（演繹）。而人類似乎只能猜測上帝定義的規律，然后用這個猜測的規律進行演繹。如果沒有發現破壞規律的現象，那么萬事大吉，否則只能拋棄之前的猜測，重新猜測上帝的想法。但是上帝創造的規律能被受這個規律約束的智慧生命發現嗎？也許得看上帝在創造這個規律時的心情？
普通的計算機程序讀取輸入，然后進行一些計算，把臨時的一些結果放到Memory里，也從Memory里讀取數據，最終把結果輸出。只不過需要我們用計算機程序語言來指定其中的每一個操作步驟。而NTM也是一樣。它對于每一個輸入，都讀取一下現有的內存，然后根據現有的內存和輸入進行計算，然后更新內存。只不過這些操作是通過輸入和輸出“學習”出來的。
因為神經網絡學習時需要連續可導，所以NTM的內存和我們現在用的計算機內存不同，現在的計算機都是離散的01，而NTM的內存是個連續的值。計算機的寫只能是離散的01值，而NTM的寫入是連續的實數（當然受限于硬件肯定是有限的浮點數）。而且和前面的Attention相聯系，我們會發現它也是一種Soft Attention——對于某個程序，比如Copy，它的Attention是連續的變化規律（假設我們是用一個for循環來復制輸入到連續的內存）。文章的作者嘗試了一些簡單程序，比如Copy、Associative等，NTM（LSTM作為controller）都比LSTM要好不少。不過Binary Heap Sort這種復雜一點的程序，NTM就沒有學習出來，它學出來一個HashTable（這是讓我等碼農失業的節奏嗎？）。
你也許會問NTM似乎對應的是TM，那和NLP有什么關系呢？
NLP是人類的語言，比機器的語言復雜。我們可以首先研究一下簡單的機器語言，或許會有所啟發。
但事實上NTM也可以用來做QA（問答）。
IBM做了著名的Watson，讓人覺得似乎機器能真正的理解語言了。不過很多業內人士覺得離我們期望的機器理解語言還差得遠，當然他們做了很多很有用的工作。
《Empirical Study on Deep Learning Models for QA》就是IBM Watson團隊的嘗試。在Facebook的人工構造QA數據集上融合并對比了當下熱門三種DL方法：Neural Machine Translation、Neural Turing Machine及Memory Networks。得出的結論是：融合Memory組件和Attention機制在解決QA問題上具有巨大潛力。
我們可以看到在今年NIPS的RAM Workshop上很多用類似NTM這樣的模型來做QA或者相關任務的文章。Facebook人工智能研究院（FAIR）在NLP的主要工作都是在RAM上。
Language的復雜性
相對于Image和Speech，Language似乎更加復雜一些。
視覺和聽覺作為人類與外界溝通最主要的兩種感覺，經歷了長期的進化。大部分動物都有發達的視覺與聽覺系統，很多都比人類更加發達。拿視覺來說，老鷹的視力就比人類發達的多，而且很多動物夜間也有很強的視力，這是人類無法比擬的。但是人類的視覺應該有更多高層概念上的東西，因為人類大腦的概念很多，因此視覺系統也能處理更多概念。比如人類能利用鋼鐵，對汽車有細微的視覺感受，但是對于一條狗來說可能這些東西都是Other類別，它們可能只關注食物、異性、天敵等。
聽覺系統也是如此，很多動物的聽覺范圍和精度都比人類高得多。但它們關注的內容也很少，大部分是獵物或者天敵的聲音。
我覺得人類與大部分動物最大的區別就是社會性，社會性需要溝通，因此語言就非常重要。一些動物群落比如狼群或者猴群也有一定的社會性，像狼群狩獵是也有配合，猴群有嚴格的等級制度，但是相對于人類社會來說就簡單得多。一個人能力相當有限，但是一個人類社會就非常強大，這其實就跟一個螞蟻非常簡單，但是整個蟻群非常智能類似。
作為溝通，人類至少有視覺和聽覺兩種主要的方式，但最終主要的溝通方式語言卻是構建在聽覺的基礎上的。為什么進化沒有選擇視覺呢？當然也許有偶然的因素，但是我們可以分析（或者猜測）一下可能的原因。
你也許會說聲音可以通過不同的發音來表示更多的概念，而且聲音是時序信號，可以用更長的聲音表示更復雜的概念。
但這是說不通的，人類能比動物發出更多不同種類的聲音，這也是進化的結果。用臉部或者四肢也能表達很多不同的概念，就像殘疾人的手語或者唇語，或者科幻小說《三體》里的面部表情交流。如果進化，面部肌肉肯定會更加發達從而能夠表示更多表情。
至于時序就更沒有什么了，手語也是時序的。
當然聲音相對于視覺還是有不少優勢的：
可以做很多分析，但不管怎么樣，歷史沒法重新選擇，事實就是人類的進化選擇了聲音，因此Speech就成了Language的一部分了。
因此單獨說Speech而不說Language其實是沒有太大意義的。
當然后來Language為了便于保存，又發展出文字這樣的東西，而文字卻是通過視覺來感受的，不過視覺只是把文字映射到概念而已。一些文字如漢字的象形還是和視覺形象有關聯的，不過越到后來越抽象，就和視覺沒有太大關系了。
人類思考的方式也是和語言相關的，數學就是一種語言，這是人類抽象現實世界的先進工具。
上面一大堆啰嗦，目的就是想說明Language是和人類的概念緊密相連的，因此遠比Image/Vision更復雜。
人類社會之所以能進步，就是通過社會化的分工與協作，讓不同的人進化不同的能力，從而使得整個社會全方位發展。而語言文字在其中發揮著至關重要的作用，通過語言文字的傳播，人類積累的智慧就可以跨越時空傳遞。
回到我們的NLP或者NLU或者說機器理解人類語言，為什么我們對機器理解人類語言這么關注呢，因為語言基本等同于智力。機器能夠理解語言也就基本能達到人工智能的目標，這也是為什么我們會認為如果機器能夠通過圖靈測試那么它就是智能的了。
語言其實是人類表達概念或者說知識的一種方式，人類的大腦通過進化已經很適應這種表示方式了。但這種邏輯的表示方式是抽象之后比較上層的表示（大腦神經元層級是怎么表示的還不太清楚）。目前主流的方法是深度神經網絡，目的是模擬底層的大腦結構。這種方法是不錯的一個想法。之前的NLP使用的方法都是規則的，其實也就是基于邏輯的，現在已經不太主流了。
但是不管用什么方法，現在的現實情況是人類已經使用語言來存儲知識和表示概念，機器就得面對這種現實能夠學會這種交流方式。因為我們沒有時間也不可能讓它們進化出另外一種表達方式。當然它們自己交流可以用自己的語言，比如TCP/IP語言，它們學習知識可以和人類那樣給定很多輸入/輸出訓練數據學習出來，也可以把訓練好的模型直接從一個機器“復制”到另外一個機器，這是人類做不到的——至少目前還做不到。我們不能把愛因斯坦的物理模型復制到我的大腦里，也許未來醫學和神經科學高度發達之后可以實現。但是目前來看把機器看成人類能力的拓展更可行。
深度學習的一個方向Representation Learning其實就是有這個想法，不過目前更多關注的是一些具體任務的Feature的表示。更多是在Image和Speech領域，用在Language的較少，Word2vec等也可以看成表示概念的方式，不過這種向量的表示太過簡單且沒有結構化。更少有工作考慮用神經網絡怎么表示人類已有的復雜知識。現在的知識表示還是以幾十年前基于符號的形式邏輯的為主。
我們現在甚至有很多結構化的數據，比如企業數據庫、維基百科的、Google的Freebase以及內部的Knowledge Graph。但目前都是用人類習慣的表示方式，比如三元組、圖或者實體關系。但這樣的表示方式是高層的抽象的，大腦里的神經元似乎不能處理，因此現在的Deep Neural Network很難整合已有的這些知識庫進行推理等更有用的事情。
總結
從上面的分析我們大致可以看到最近NLP的發展趨勢：深度神經網絡尤其是RNN的改進，模擬人腦的Attention和Memory，更加結構化的Word Embedding或者說Knowledge Representation。我們看到了很多很好的進展，比如NIPS的RAM Workshop，很多大公司都在嘗試。但是Language的問題確實也非常復雜，所以也不太可能短期就解決。不過也正是這樣有挑戰的問題，才能讓更多有才華的人投身到這個領域來推動它的發展。
作者簡介
雷欣，人工智能科技公司出門問問&Ticwatch智能手表CTO，美國華盛頓大學西雅圖分校博士，前斯坦福研究所（SRI）研究工程師，前Google美國總部科學家，語音識別領域十多年研究及從業者，領導開發了Google基于深度神經網絡的離線語音識別系統。
李理，人工智能科技公司出門問問工程師，擅長NLP和knowledge graph。
本文為《程序員》2016年1月特別專題原創文章，未經允許不得轉載。訂閱2016年《程序員》（含iPad、Android及印刷版）請訪問?http://dingyue.programmer.com.cn（責編/周建丁 zhoujd@csdn.net）
總結
以上是生活随笔為你收集整理的深度学习：推动NLP领域发展的新引擎的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 如何用Python一门语言通吃高性能并发
- 下一篇： 深度学习框架的评估与比较