语义分析的总结
轉 語義分析的總結
發(fā)表于4個月前(2015-12-16 14:53)?? 閱讀（539）?|?評論（0）?8人收藏此文章,?我要收藏 贊0語義分析，本文指運用各種機器學習方法，挖掘與學習文本、圖片等的深層次概念。wikipedia上的解釋：In machine learning, semantic analysis of a corpus is the task of building structures that approximate concepts from a large set of documents(or images)。
本文主要由以下四部分組成：文本基本處理，文本語義分析，圖片語義分析，語義分析小結。先講述文本處理的基本方法，這構成了語義分析的基礎。接著分文本和圖片兩節(jié)講述各自語義分析的一些方法，值得注意的是，雖說分為兩節(jié)，但文本和圖片在語義分析方法上有很多共通與關聯(lián)。最后我們簡單介紹下語義分析在廣點通“用戶廣告匹配”上的應用，并展望一下未來的語義分析方法。
1. 文本基本處理
在講文本語義分析之前，我們先說下文本基本處理，因為它構成了語義分析的基礎。而文本處理有很多方面，考慮到本文主ti，這里只介紹中文分詞以及Term Weighting。1.1 中文分詞
拿到一段文本后，通常情況下，首先要做分詞。分詞的方法一般有如下幾種：
- 基于字符串匹配的分詞方法。此方法按照不同的掃描方式，逐個查找詞庫進行分詞。根據(jù)掃描方式可細分為：正向最大匹配，反向最大匹配，雙向最大匹配，最小切分(即最短路徑)；總之就是各種不同的啟發(fā)規(guī)則。
- 全切分方法。它首先切分出與詞庫匹配的所有可能的詞，再運用統(tǒng)計語言模型決定最優(yōu)的切分結果。它的優(yōu)點在于可以解決分詞中的歧義問ti。下圖是一個示例，對于文本串“南京市長江大橋”，首先進行詞條檢索(一般用Trie存儲)，找到匹配的所有詞條（南京，市，長江，大橋，南京市，長江大橋，市長，江大橋，江大，橋），以詞網(wǎng)格(word lattices)形式表示，接著做路徑搜索，基于統(tǒng)計語言模型(例如n-gram)[18]找到最優(yōu)路徑，最后可能還需要命名實體識別。下圖中“南京市 長江 大橋”的語言模型得分，即P(南京市，長江，大橋)最高，則為最優(yōu)切分。
圖1. “南京市長江大橋”語言模型得分
- 由字構詞的分詞方法?？梢岳斫鉃樽值姆诸悊杢i，也就是自然語言處理中的sequence labeling問ti，通常做法里利用HMM，MAXENT，MEMM，CRF等預測文本串每個字的tag[62]，譬如B，E，I，S，這四個tag分別表示：beginning, inside, ending, single，也就是一個詞的開始，中間，結束，以及單個字的詞。 例如“南京市長江大橋”的標注結果可能為：“南(B)京(I)市(E)長(B)江(E)大(B)橋(E)”。由于CRF既可以像最大熵模型一樣加各種領域feature，又避免了HMM的齊次馬爾科夫假設，所以基于CRF的分詞目前是效果最好的，具體請參考文獻[61,62,63]。除了HMM，CRF等模型，分詞也可以基于深度學習方法來做，如文獻[9][10]所介紹，也取得了state-of-the-art的結果。
圖2. 基于深度學習的中文分詞
上圖是一個基于深度學習的分詞示例圖。我們從上往下看，首先對每一個字進行Lookup Table，映射到一個固定長度的特征向量(這里可以利用詞向量，boundary entropy，accessor variety等)；接著經(jīng)過一個標準的神經(jīng)網(wǎng)絡，分別是linear，sigmoid，linear層，對于每個字，預測該字屬于B,E,I,S的概率；最后輸出是一個矩陣，矩陣的行是B,E,I,S 4個tag，利用viterbi算法就可以完成標注推斷，從而得到分詞結果。
一個文本串除了分詞，還需要做詞性標注，命名實體識別，新詞發(fā)現(xiàn)等。通常有兩種方案，一種是pipeline approaches，就是先分詞，再做詞性標注；另一種是joint approaches，就是把這些任務用一個模型來完成。有興趣可以參考文獻[9][62]等。
一般而言，方法一和方法二在工業(yè)界用得比較多，方法三因為采用復雜的模型，雖準確率相對高，但耗時較大。
1.2 語言模型
前面在講“全切分分詞”方法時，提到了語言模型，并且通過語言模型，還可以引出詞向量，所以這里把語言模型簡單闡述一下。
語言模型是用來計算一個句子產(chǎn)生概率的概率模型，即P(w_1,w_2,w_3…w_m)，m表示詞的總個數(shù)。根據(jù)貝葉斯公式：P(w_1,w_2,w_3 … w_m) = P(w_1)P(w_2|w_1)P(w_3|w_1,w_2) … P(w_m|w_1,w_2 … w_{m-1})。
最簡單的語言模型是N-Gram，它利用馬爾科夫假設，認為句子中每個單詞只與其前n–1個單詞有關，即假設產(chǎn)生w_m這個詞的條件概率只依賴于前n–1個詞，則有P(w_m|w_1,w_2…w_{m-1}) = P(w_m|w_{m-n+1},w_{m-n+2} … w_{m-1})。其中n越大，模型可區(qū)別性越強，n越小，模型可靠性越高。
N-Gram語言模型簡單有效，但是它只考慮了詞的位置關系，沒有考慮詞之間的相似度，詞語法和詞語義，并且還存在數(shù)據(jù)稀疏的問ti，所以后來，又逐漸提出更多的語言模型，例如Class-based ngram model，topic-based ngram model，cache-based ngram model，skipping ngram model，指數(shù)語言模型（最大熵模型，條件隨機域模型）等。若想了解更多請參考文章[18]。
最近，隨著深度學習的興起，神經(jīng)網(wǎng)絡語言模型也變得火熱[4]。用神經(jīng)網(wǎng)絡訓練語言模型的經(jīng)典之作，要數(shù)Bengio等人發(fā)表的《A Neural Probabilistic Language Model》[3]，它也是基于N-Gram的，首先將每個單詞w_{m-n+1},w_{m-n+2} … w_{m-1}映射到詞向量空間，再把各個單詞的詞向量組合成一個更大的向量作為神經(jīng)網(wǎng)絡輸入，輸出是P(w_m)。本文將此模型簡稱為ffnnlm（Feed-forward Neural Net Language Model）。ffnnlm解決了傳統(tǒng)n-gram的兩個缺陷：(1)詞語之間的相似性可以通過詞向量來體現(xiàn)；(2)自帶平滑功能。文獻[3]不僅提出神經(jīng)網(wǎng)絡語言模型，還順帶引出了詞向量，關于詞向量，后文將再細述。
圖3. 基于神經(jīng)網(wǎng)絡的語言模型
從最新文獻看，目前state-of-the-art語言模型應該是基于循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network)的語言模型，簡稱rnnlm[5][6]。循環(huán)神經(jīng)網(wǎng)絡相比于傳統(tǒng)前饋神經(jīng)網(wǎng)絡，其特點是：可以存在有向環(huán)，將上一次的輸出作為本次的輸入。而rnnlm和ffnnlm的最大區(qū)別是：ffnnmm要求輸入的上下文是固定長度的，也就是說n-gram中的 n 要求是個固定值，而rnnlm不限制上下文的長度，可以真正充分地利用所有上文信息來預測下一個詞，本次預測的中間隱層信息(例如下圖中的context信息)可以在下一次預測里循環(huán)使用。
圖4. 基于simple RNN(time-delay neural network)的語言模型
如上圖所示，這是一個最簡單的rnnlm，神經(jīng)網(wǎng)絡分為三層，第一層是輸入層，第二層是隱藏層(也叫context層)，第三層輸出層。 假設當前是t時刻，則分三步來預測P(w_m)：
- 單詞w_{m-1}映射到詞向量，記作input(t)
- 連接上一次訓練的隱藏層context(t–1)，經(jīng)過sigmoid function，生成當前t時刻的context(t)
- 利用softmax function，預測P(w_m)
參考文獻[7]中列出了一個rnnlm的library，其代碼緊湊。利用它訓練中文語言模型將很簡單，上面“南京市 長江 大橋”就是rnnlm的預測結果。
基于RNN的language model利用BPTT(BackPropagation through time)算法比較難于訓練，原因就是深度神經(jīng)網(wǎng)絡里比較普遍的vanishing gradient問ti[55]（在RNN里，梯度計算隨時間成指數(shù)倍增長或衰減，稱之為Exponential Error Decay）。所以后來又提出基于LSTM(Long short term memory)的language model，LSTM也是一種RNN網(wǎng)絡，關于LSTM的詳細介紹請參考文獻[54,49,52]。LSTM通過網(wǎng)絡結構的修改，從而避免vanishing gradient問ti。
圖5. LSTM memory cell
如上圖所示，是一個LSTM unit。如果是傳統(tǒng)的神經(jīng)網(wǎng)絡unit，output activation bi = activation_function(ai)，但LSTM unit的計算相對就復雜些了，它保存了該神經(jīng)元上一次計算的結果，通過input gate，output gate，forget gate來計算輸出，具體過程請參考文獻[53，54]。
1.3 Term Weighting
Term重要性
對文本分詞后，接下來需要對分詞后的每個term計算一個權重，重要的term應該給與更高的權重。舉例來說，“什么產(chǎn)品對減肥幫助最大？”的term weighting結果可能是: “什么 0.1，產(chǎn)品 0.5，對 0.1，減肥 0.8，幫助 0.3，最大 0.2”。Term weighting在文本檢索，文本相關性，核心詞提取等任務中都有重要作用。
Term weighting的打分公式一般由三部分組成：local，global和normalization [1,2]。即TermWeight=L_{i,j} G_i N_j。L_{i,j}是term i在document j中的local weight，G_i是term i的global weight，N_j是document j的歸一化因子。常見的local，global，normalization weight公式[2]有：
圖6. Local weight formulas
圖7. Global weight formulas
圖8. Normalization factors
Tf-Idf是一種最常見的term weighting方法。在上面的公式體系里，Tf-Idf的local weight是FREQ，glocal weight是IDFB，normalization是None。tf是詞頻，表示這個詞出現(xiàn)的次數(shù)。df是文檔頻率，表示這個詞在多少個文檔中出現(xiàn)。idf則是逆文檔頻率，idf=log(TD/df)，TD表示總文檔數(shù)。Tf-Idf在很多場合都很有效，但缺點也比較明顯，以“詞頻”度量重要性，不夠全面，譬如在搜索廣告的關鍵詞匹配時就不夠用。
除了TF-IDF外，還有很多其他term weighting方法，例如Okapi，MI，LTU，ATC，TF-ICF[59]等。通過local，global，normalization各種公式的組合，可以生成不同的term weighting計算方法。不過上面這些方法都是無監(jiān)督計算方法，有一定程度的通用性，但在一些特定場景里顯得不夠靈活，不夠準確，所以可以基于有監(jiān)督機器學習方法來擬合term weighting結果。
圖9. Okapi計算公式
利用有監(jiān)督機器學習方法來預測weight。這里類似于機器學習的分類任務，對于文本串的每個term，預測一個[0,1]的得分，得分越大則term重要性越高。既然是有監(jiān)督學習，那么就需要訓練數(shù)據(jù)。如果采用人工標注的話，極大耗費人力，所以可以采用訓練數(shù)據(jù)自提取的方法，利用程序從搜索日志里自動挖掘。從海量日志數(shù)據(jù)里提取隱含的用戶對于term重要性的標注，得到的訓練數(shù)據(jù)將綜合億級用戶的“標注結果”，覆蓋面更廣，且來自于真實搜索數(shù)據(jù)，訓練結果與標注的目標集分布接近，訓練數(shù)據(jù)更精確。下面列舉三種方法(除此外，還有更多可以利用的方法)：
- 從搜索session數(shù)據(jù)里提取訓練數(shù)據(jù)，用戶在一個檢索會話中的檢索核心意圖是不變的，提取出核心意圖所對應的term，其重要性就高。
- 從歷史短串關系資源庫里提取訓練數(shù)據(jù)，短串擴展關系中，一個term出現(xiàn)的次數(shù)越多，則越重要。
- 從搜索廣告點擊日志里提取訓練數(shù)據(jù)，query與bidword共有term的點擊率越高，它在query中的重要程度就越高。
通過上面的方法，可以提取到大量質量不錯的訓練數(shù)據(jù)（數(shù)十億級別的數(shù)據(jù)，這其中可能有部分樣本不準確，但在如此大規(guī)模數(shù)據(jù)情況下，絕大部分樣本都是準確的）。
有了訓練數(shù)據(jù)，接下來提取特征，基于邏輯回歸模型來預測文本串中每個term的重要性。所提取的特征包括：
- term的自解釋特征，例如term專名類型，term詞性，term idf，位置特征，term的長度等；
- term與文本串的交叉特征，例如term與文本串中其他term的字面交叉特征，term轉移到文本串中其他term的轉移概率特征，term的文本分類、topic與文本串的文本分類、topic的交叉特征等。
核心詞、關鍵詞提取
短文本串的核心詞提取。對短文本串分詞后，利用上面介紹的term weighting方法，獲取term weight后，取一定的閾值，就可以提取出短文本串的核心詞。長文本串(譬如web page)的關鍵詞提取。這里簡單介紹幾種方法。想了解更多，請參考文獻[69]。
- 采用基于規(guī)則的方法?？紤]到位置特征，網(wǎng)頁特征等。
- 基于廣告主購買的bidword和高頻query建立多模式匹配樹，在長文本串中進行全字匹配找出候選關鍵詞，再結合關鍵詞weight，以及某些規(guī)則找出優(yōu)質的關鍵詞。
- 類似于有監(jiān)督的term weighting方法，也可以訓練關鍵詞weighting的模型。
- 基于文檔主ti結構的關鍵詞抽取，具體可以參考文獻[71]。
2. 文本語義分析
前面講到一些文本基本處理方法。一個文本串，對其進行分詞和重要性打分后（當然還有更多的文本處理任務），就可以開始更高層的語義分析任務。2.1 Topic Model
首先介紹主ti模型。說到主ti模型，第一時間會想到pLSA，NMF，LDA。關于這幾個目前業(yè)界最常用的主ti模型，已經(jīng)有相當多的介紹了，譬如文獻[60，64]。在這里，主要想聊一下主ti模型的應用以及最新進展(考慮到LDA是pLSA的generalization，所以下面只介紹LDA)。LDA訓練算法簡單介紹
LDA的推導這里略過不講，具體請參考文獻[64]。下面我們主要看一下怎么訓練LDA。
在Blei的原始論文中，使用variational inference和EM算法進行LDA推斷(與pLSA的推斷過程類似，E-step采用variational inference)，但EM算法可能推導出局部最優(yōu)解，且相對復雜。目前常用的方法是基于gibbs sampling來做[57]。
- Step1: 隨機初始化每個詞的topic，并統(tǒng)計兩個頻率計數(shù)矩陣：Doc-Topic 計數(shù)矩陣N(t,d)，描述每個文檔中的主ti頻率分布；Word-Topic 計數(shù)矩陣N(w,t)，表示每個主ti下詞的頻率分布。
- Step2: 遍歷訓練語料，按照概率公式(下圖所示)重新采樣每個詞所對應的topic, 更新N(t,d)和N(w,t)的計數(shù)。
- Step3: 重復 step2，直到模型收斂。
對文檔d中詞w的主ti z進行重新采樣的公式有非常明確的物理意義，表示為P(w|z)P(z|d)，直觀的表示為一個“路徑選擇”的過程。
圖10. gibbs sampling過程圖
以上描述過程具體請參考文獻[65]。
對于LDA模型的更多理論介紹，譬如如何實現(xiàn)正確性驗證，請參考文獻[68]，而關于LDA模型改進，請參考Newman團隊的最新文章《Care and Feeding of Topic Models》[12]。
主ti模型的應用點
在廣點通內部，主ti模型已經(jīng)在很多方面都得到成功應用[65]，譬如文本分類特征，相關性計算，ctr預估，精確廣告定向，矩陣分解等。具體來說，基于主ti模型，可以計算出文本，用戶的topic分布，將其當作pctr，relevance的特征，還可以將其當作一種矩陣分解的方法，用于降維，推薦等。不過在我們以往的成功運用中，topic模型比較適合用做某些機器學習任務的特征，而不適合作為一種獨立的方法去解決某種特定的問ti，例如觸發(fā)，分類。Blei是這樣評價lda的：it can easily be used as a module in more complicated models for more complicated goals。
為什么topic model不適合作為一種獨立的方法去解決某種特定的問ti(例如分類，觸發(fā)等)。
- 個人總結，主要原因是lda模型可控性可解釋性相對比較差：對于每個topic，不能用很明確的語義歸納出這個topic在講什么；重新訓練一遍lda模型，每個topic id所對應的語義可能發(fā)生了變化；有些topic的準確性比較好，有些比較差，而對于比較差的topic，沒有特別好的針對性的方法去優(yōu)化它；
- 另外一個就是topic之間的重復，特別是在topic數(shù)目比較多的情況，重復幾乎是不可避免的，當時益總(yiwang)在開發(fā)peacock的時候，deduplicate topic就是一個很重要的任務。如果多個topic描述的意思一致時，用topic id來做檢索觸發(fā)，效果大半是不好的，后來我們也嘗試用topic word來做，但依舊不夠理想。
主ti模型最新進展
首先主ti模型自PLSA, LDA后，又提出了很多變體，譬如HDP。LDA的topic number是預先設定的，而HDP的topic number是不固定，而是從訓練數(shù)據(jù)中學習得到的，這在很多場景是有用的，具體參考?hdp vs lda。想了解更多LDA模型的升級，請參考文獻[73,74]。深度學習方面，Geoff Hinton及其學生用Deep Boltzmann Machine研究出了類似LDA的隱變量文本模型[82]，文章稱其抽取的特征在文本檢索與文本分類上的結果比LDA好。heavenfireray在其微博評論道：lda結構是word-hidden topic。類lda結構假設在topic下產(chǎn)生每個word是條件獨立而且參數(shù)相同。這種假設導致參數(shù)更匹配長文而非短文。該文章提出word-hidden topic-hidden word，其實是(word,hidden word)-hidden topic，增加的hidden word平衡了參數(shù)對短文的適配，在分類文章數(shù)量的度量上更好很自然。
其次，隨著目前互聯(lián)網(wǎng)的數(shù)據(jù)規(guī)模的逐漸增加，大規(guī)模并行PLSA，LDA訓練將是主旋律。大規(guī)模主ti模型訓練，除了從系統(tǒng)架構上進行優(yōu)化外，更關鍵的，還需要在算法本身上做升級。variational方法不太適合并行化，且速度相對也比較慢，這里我們著重看sampling-base inference。
- collapsed Gibbs sampler[57]：O(K)復雜度，K表示topic的總個數(shù)。
- SparseLDA[66]：算法復雜度為O(Kd + Kw)，Kd表示文檔d所包含的topic個數(shù)，Kw表示詞w所屬的topic個數(shù)，考慮到一個文檔所包含的topic和一個詞所屬的topic個數(shù)是有限的，肯定遠小于K，所以相比于collapsed Gibbs，復雜度已有較大的下降。
- AliasLDA[56]：利用alias table和Metropolis-Hastings，將詞這個維度的采樣復雜度降至O(1)。所以算法總復雜度為O(Kd)。
- Metropolis-Hastings sampler[13]：復雜度降至O(1)。這里不做分析了，具體請參考文獻[13]
主ti模型并行化
在文獻[67]中，Newman團隊提出了LDA算法的并行化版本Approximate distributed-LDA，如下圖所示：
圖11. AD-LDA算法
在原始gibbs sampling算法里，N(w,t)這個矩陣的更新是串行的，但是研究發(fā)現(xiàn)，考慮到N(w,t)矩陣在迭代過程中，相對變化較小，多個worker獨立更新N(w,t)，在一輪迭代結束后再根據(jù)多個worker的本地更新合并到全局更新N(w,t)，算法依舊可以收斂[67]。
那么，主ti模型的并行化(不僅僅是主ti模型，其實是絕大部分機器學習算法)，主要可以從兩個角度來說明：數(shù)據(jù)并行和模型并行。
- 數(shù)據(jù)并行。這個角度相對比較直觀，譬如對于LDA模型，可以將訓練數(shù)據(jù)按照worker數(shù)目切分為M片(M為worker數(shù))，每個worker保存一份全局的N(w,t)矩陣，在一輪迭代里，各個worker獨立計算，迭代結束后，合并各個worker的本地更新。這個思路可以借用目前通用的并行計算框架，譬如Spark，Hadoop，Graphlab等來實現(xiàn)。
- 模型并行。考慮到矩陣N(w,t)在大規(guī)模主ti模型中相當巨大，單機內存不可能存下。所以直觀的想法，可以將N(w,t)也切分成多個分片。N(w,t)可以考慮使用全局的parameter server來存儲，也可以考慮存儲在不同worker上，利用MPI AllReduce來通信。
數(shù)據(jù)與模型并行，可以形象的描述為一個棋盤。棋盤的行按照數(shù)據(jù)劃分，棋盤的列按照模型劃分。LDA的并行化，就是通過這樣的切分，將原本巨大的，不可能在單機存儲的矩陣切分到不同的機器，使每臺機器都能夠將參數(shù)存儲在內存。再接著，各個worker相對獨立計算，計算的過程中不時按照某些策略同步模型數(shù)據(jù)。
最近幾nian里，關于LDA并行化已有相當多的開源實現(xiàn)，譬如：
- PLDA，PLDA+
- Yahoo LDA
- Parameter server
最近的并行LDA實現(xiàn)Peacock[70,65]和LigthLda[13]沒有開源，但我們可以從其論文一窺究竟，總體來說，并行化的大體思路是一致的。譬如LightLDA[13]，下圖是實現(xiàn)架構框圖，它將訓練數(shù)據(jù)切分成多個Block，模型通過parameter server來同步，每個data block，類似于sliding windows，在計算完V1的采樣后，才會去計算V2的采樣(下圖中V1,V2,V3表示word空間的劃分，即模型的劃分)。
圖12. LightLda并行結構圖
2.2 詞向量，句向量
詞向量是什么
在文本分析的vector space model中，是用向量來描述一個詞的，譬如最常見的One-hot representation。One-hot representation方法的一個明顯的缺點是，詞與詞之間沒有建立關聯(lián)。在深度學習中，一般用Distributed Representation來描述一個詞，常被稱為“Word Representation”或“Word Embedding”，也就是我們俗稱的“詞向量”。
詞向量起源于hinton在1986year的論文[11]，后來在Bengio的ffnnlm論文[3]中，被發(fā)揚光大，但它真正被我們所熟知，應該是word2vec[14]的開源。在ffnnlm中，詞向量是訓練語言模型的一個副產(chǎn)品，不過在word2vec里，是專門來訓練詞向量，所以word2vec相比于ffnnlm的區(qū)別主要體現(xiàn)在：
- 模型更加簡單，去掉了ffnnlm中的隱藏層，并去掉了輸入層跳過隱藏層直接到輸出層的連接。
- 訓練語言模型是利用第m個詞的前n個詞預測第m個詞，而訓練詞向量是用其前后各n個詞來預測第m個詞，這樣做真正利用了上下文來預測，如下圖所示。
圖13. word2vec的訓練算法
上圖是word2vec的兩種訓練算法：CBOW(continuous bag-of-words)和Skip-gram。在cbow方法里，訓練目標是給定一個word的context，預測word的概率；在skip-gram方法里，訓練目標則是給定一個word，預測word的context的概率。
關于word2vec，在算法上還有較多可以學習的地方，例如利用huffman編碼做層次softmax，negative sampling，工程上也有很多trick，具體請參考文章[16][17]。詞向量的應用
詞向量的應用點：- 可以挖掘詞之間的關系，譬如同義詞。
- 可以將詞向量作為特征應用到其他機器學習任務中，例如作為文本分類的feature，Ronan collobert在Senna[37]中將詞向量用于POS, CHK, NER等任務。
- 用于機器翻譯[28]。分別訓練兩種語言的詞向量，再通過詞向量空間中的矩陣變換，將一種語言轉變成另一種語言。
- word analogy，即已知a之于b猶如c之于d，現(xiàn)在給出 a、b、c，C(a)-C(b)+C(c)約等于C(d)，C(*)表示詞向量?？梢岳眠@個特性，提取詞語之間的層次關系。
- Connecting Images and Sentences，image understanding。例如文獻，DeViSE: A deep visual-semantic em-bedding model。
- Entity completion in Incomplete Knowledge bases or ontologies，即relational extraction。Reasoning with neural tensor net- works for knowledge base completion。
- more word2vec applications，點擊link1，link2
- 假設我們將一簇簇相似的用戶作為doc（譬如QQ群），將單個用戶作為word，我們則可以訓練user distributed representation，可以借此挖掘相似用戶。
- 假設我們將一個個query session作為doc，將query作為word，我們則可以訓練query distributed representation，挖掘相似query。
句向量
分析完word distributed representation，我們也許會問，phrase，sentence是否也有其distributed representation。最直觀的思路，對于phrase和sentence，我們將組成它們的所有word對應的詞向量加起來，作為短語向量，句向量。在參考文獻[34]中，驗證了將詞向量加起來的確是一個有效的方法，但事實上還有更好的做法。Le和Mikolov在文章《Distributed Representations of Sentences and Documents》[20]里介紹了sentence vector，這里我們也做下簡要分析。
先看c-bow方法，相比于word2vec的c-bow模型，區(qū)別點有：- 訓練過程中新增了paragraph id，即訓練語料中每個句子都有一個唯一的id。paragraph id和普通的word一樣，也是先映射成一個向量，即paragraph vector。paragraph vector與word vector的維數(shù)雖一樣，但是來自于兩個不同的向量空間。在之后的計算里，paragraph vector和word vector累加或者連接起來，作為輸出層softmax的輸入。在一個句子或者文檔的訓練過程中，paragraph id保持不變，共享著同一個paragraph vector，相當于每次在預測單詞的概率時，都利用了整個句子的語義。
- 在預測階段，給待預測的句子新分配一個paragraph id，詞向量和輸出層softmax的參數(shù)保持訓練階段得到的參數(shù)不變，重新利用梯度下降訓練待預測的句子。待收斂后，即得到待預測句子的paragraph vector。
圖14. sentence2vec cBow算法
sentence2vec相比于word2vec的skip-gram模型，區(qū)別點為：在sentence2vec里，輸入都是paragraph vector，輸出是該paragraph中隨機抽樣的詞。
圖15. sentence2vec Skip-gram算法
下面是sentence2vec的結果示例。先利用中文sentence語料訓練句向量，然后通過計算句向量之間的cosine值，得到最相似的句子。可以看到句向量在對句子的語義表征上還是相當驚嘆的。
圖16. sentence2vec 結果示例
詞向量的改進
- 學習詞向量的方法主要分為：Global matrix factorization和Shallow Window-Based。Global matrix factorization方法主要利用了全局詞共現(xiàn)，例如LSA；Shallow Window-Based方法則主要基于local context window，即局部詞共現(xiàn)，word2vec是其中的代表；Jeffrey Pennington在word2vec之后提出了GloVe，它聲稱結合了上述兩種方法，提升了詞向量的學習效果。它與word2vec的更多對比請點擊GloVe vs word2vec，GloVe & word2vec評測。
- 目前通過詞向量可以充分發(fā)掘出“一義多詞”的情況，譬如“快遞”與“速遞”；但對于“一詞多義”，束手無策，譬如“蘋果”(既可以表示蘋果手機、電腦，又可以表示水果)，此時我們需要用多個詞向量來表示多義詞。
2.3 卷積神經(jīng)網(wǎng)絡
卷積
介紹卷積神經(jīng)網(wǎng)絡(convolutional neural network，簡記cnn)之前，我們先看下卷積。
在一維信號中，卷積的運算，請參考wiki，其中的圖示很清楚。在圖像處理中，對圖像用一個卷積核進行卷積運算，實際上是一個濾波的過程。下面是卷積的數(shù)學表示：
f(x,y)是圖像上點(x,y)的灰度值，w(x,y)則是卷積核，也叫濾波器。卷積實際上是提供了一個權重模板，這個模板在圖像上滑動，并將中心依次與圖像中每一個像素對齊，然后對這個模板覆蓋的所有像素進行加權，并將結果作為這個卷積核在圖像上該點的響應。如下圖所示，卷積操作可以用來對圖像做邊緣檢測，銳化，模糊等。
?圖17. 卷積操作示例
什么是卷積神經(jīng)網(wǎng)絡
卷積神經(jīng)網(wǎng)絡是一種特殊的、簡化的深層神經(jīng)網(wǎng)絡模型，它的每個卷積層都是由多個卷積濾波器組成。它最先由lecun在LeNet[40]中提出，網(wǎng)絡結構如下圖所示。在cnn中，圖像的一小部分（局部感受區(qū)域）作為層級結構的最低層的輸入，信息再依次傳輸?shù)讲煌膶?#xff0c;每層通過多個卷積濾波器去獲得觀測數(shù)據(jù)的最顯著的特征。
圖18. Lenet5網(wǎng)絡結構圖
卷積神經(jīng)網(wǎng)絡中的每一個特征提取層（卷積層）都緊跟著一個用來求局部平均與二次提取的計算層（pooling層），這種特有的兩次特征提取結構使網(wǎng)絡在識別時對輸入樣本有較高的畸變容忍能力。如下圖所示，就是一個完整的卷積過程[21]。
圖19. 一次完整的卷積過程
它的特殊性體現(xiàn)在兩點：(1)局部感受野(receptive?field)，cnn的神經(jīng)元間的連接是非全連接的；(2)同一層中同一個卷積濾波器的權重是共享的（即相同的）。局部感受野和權重共享這兩個特點，使cnn網(wǎng)絡結構更類似于生物神經(jīng)網(wǎng)絡，降低了網(wǎng)絡模型的復雜度，減少了神經(jīng)網(wǎng)絡需要訓練的參數(shù)的個數(shù)。
卷積神經(jīng)網(wǎng)絡的一些細節(jié)
接下來結合文獻[25]，再講講卷積神經(jīng)網(wǎng)絡的一些注意點和問ti。- 激勵函數(shù)，要選擇非線性函數(shù)，譬如tang，sigmoid，rectified liner。在CNN里，relu用得比較多，原因在于：(1)簡化BP計算；(2)使學習更快。(3)避免飽和問ti(saturation issues)
- Pooling：其作用在于(1)對一些小的形態(tài)改變保持不變性，Invariance to small transformations；(2)擁有更大的感受域，Larger receptive fields。pooling的方式有sum or max。
- Normalization：Equalizes the features maps。它的作用有：(1) Introduces local competition between features；(2)Also helps to scale activations at each layer better for learning；(3)Empirically, seems to help a bit (1–2%) on ImageNet
- 訓練CNN：back-propagation；stochastic gradient descent；Momentum；Classification loss，cross-entropy；Gpu實現(xiàn)。
- 預處理：Mean removal；Whitening(ZCA)
- 增強泛化能力：Data augmentation；Weight正則化；在網(wǎng)絡里加入噪聲，包括DropOut，DropConnect，Stochastic pooling。
- DropOut：只在全連接層使用，隨機的將全連接層的某些神經(jīng)元的輸出置為0。
- DropConnect：也只在全連接層使用，Random binary mask on weights
- Stochastic Pooling：卷積層使用。Sample location from multinomial。
- 模型不work，怎么辦？結合我自身的經(jīng)驗，learning rate初始值設置得太大，開始設置為0.01，以為很小了，但實際上0.001更合適。
卷積神經(jīng)網(wǎng)絡在文本上的應用
卷積神經(jīng)網(wǎng)絡在image classify和image detect上得到諸多成功的應用，后文將再詳細闡述。但除了圖片外，它在文本分析上也取得一些成功的應用。
基于CNN，可以用來做文本分類，情感分析，本體分類等[36,41,84]。傳統(tǒng)文本分類等任務，一般基于bag of words或者基于word的特征提取，此類方法一般需要領域知識和人工特征。利用CNN做，方法也類似，但一般都是基于raw text，CNN模型的輸入可以是word series，可以是word vector，還可以是單純的字符。比起傳統(tǒng)方法，CNN不需要過多的人工特征。
1.?將word series作為輸入，利用CNN做文本分類。如下圖所示[36]，該CNN很簡單，共分四層，第一層是詞向量層，doc中的每個詞，都將其映射到詞向量空間，假設詞向量為k維，則n個詞映射后，相當于生成一張n*k維的圖像；第二層是卷積層，多個濾波器作用于詞向量層，不同濾波器生成不同的feature map；第三層是pooling層，取每個feature map的最大值，這樣操作可以處理變長文檔，因為第三層輸出只依賴于濾波器的個數(shù)；第四層是一個全連接的softmax層，輸出是每個類目的概率。除此之外，輸入層可以有兩個channel，其中一個channel采用預先利用word2vec訓練好的詞向量，另一個channel的詞向量可以通過backpropagation在訓練過程中調整。這樣做的結果是：在目前通用的7個分類評測任務中，有4個取得了state-of-the-art的結果，另外3個表現(xiàn)接近最好水平。
圖20.基于CNN的文本分類
利用cnn做文本分類，還可以考慮到詞的順序。利用傳統(tǒng)的”bag-of-words + maxent/svm”方法，是沒有考慮詞之間的順序的。文獻[41]中提出兩種cnn模型：seq-cnn, bow-cnn，利用這兩種cnn模型，均取得state-of-the-art結果。
2.?將doc character作為輸入，利用CNN做文本分類。文獻[86]介紹了一種方法，不利用word，也不利用word vector，直接將字符系列作為模型輸入，這樣輸入維度大大下降(相比于word)，有利于訓練更復雜的卷積網(wǎng)絡。對于中文，可以將漢字的拼音系列作為輸入。
2.4 文本分類
文本分類應該是最常見的文本語義分析任務了。首先它是簡單的，幾乎每一個接觸過nlp的同學都做過文本分類，但它又是復雜的，對一個類目標簽達幾百個的文本分類任務，90%以上的準確率召回率依舊是一個很困難的事情。這里說的文本分類，指的是泛文本分類，包括query分類，廣告分類，page分類，用戶分類等，因為即使是用戶分類，實際上也是對用戶所屬的文本標簽，用戶訪問的文本網(wǎng)頁做分類。
幾乎所有的機器學習方法都可以用來做文本分類，常用的主要有：lr，maxent，svm等，下面介紹一下文本分類的pipeline以及注意點。
建立分類體系。- 分類相比于topic model或者聚類，一個顯著的特點是：類目體系是確定的。而不像在聚類和LDA里，一個類被聚出來后，但這個類到底是描述什么的，或者這個類與另外的類是什么關系，這些是不確定的，這樣會帶來使用和優(yōu)化上的困難。
- 一般而言，類目體系是由人工設定的。而類目體系的建立往往需要耗費很多人工研究討論，一方面由于知識面的限制，人工建立的類目體系可能不能覆蓋所有情況；另一方面，還可能存在類目之間instance數(shù)的不平衡。比較好的方法，是基于目前已有的類目體系再做一些加工，譬如ODP，FreeBase等。
- 還可以先用某種無監(jiān)督的聚類方法，將訓練文本劃分到某些clusters，建立這些clusters與ODP類目體系的對應關系，然后人工review這些clusters，切分或者合并cluster，提煉name，再然后根據(jù)知識體系，建立層級的taxonomy。
- 如果類目標簽數(shù)目很多的話，我們一般會將類目標簽按照一定的層次關系，建立類目樹，如下圖所示。那么接下來就可以利用層次分類器來做分類，先對第一層節(jié)點訓練一個分類器，再對第二層訓練n個分類器(n為第一層的節(jié)點個數(shù))，依次類推。利用層次類目樹，一方面單個模型更簡單也更準確，另一方面可以避免類目標簽之間的交叉影響，但如果上層分類有誤差，誤差將會向下傳導。
圖21. 層次類目體系
獲取訓練數(shù)據(jù)
- 一般需要人工標注訓練數(shù)據(jù)。人工標注，準確率高，但標注工作量大，耗費人力。
- 為了減少標注代價，利用無標記的樣本，提出了半監(jiān)督學習(Semi-supervised Learning)，主要考慮如何利用少量的標注樣本和大量的未標注樣本進行訓練和分類的問ti。這里介紹兩種常見的半監(jiān)督算法，希望了解更多請參考文獻[49]。
- Self-learning：兩個樣本集合，Labeled，Unlabeled。執(zhí)行算法如下：
- 用Labeled樣本集合，生成分類策略F
- 用F分類Unlabeled樣本，計算誤差
- 選取Unlabeled中誤差小的子集u，加入到Labeled集合。
接著重復上述步驟。
舉一個例子：以前在做page分類器時，先對每一個類人工篩選一些特征詞，然后根據(jù)這些特征詞對億級文本網(wǎng)頁分類，再然后對每一個明確屬于該類的網(wǎng)頁提取更多的特征詞，加入原有的特征詞詞表，再去做分類；中間再輔以一定的人工校驗，這種方法做下來，效果還是不錯的，更關鍵的是，如果發(fā)現(xiàn)那個類有badcase，可以人工根據(jù)badcase調整某個特征詞的權重，簡單粗暴又有效。
- Co-training：其主要思想是：每次循環(huán)，從Labeled數(shù)據(jù)中訓練出兩個不同的分類器，然后用這兩個分類器對Unlabeled中數(shù)據(jù)進行分類，把可信度最高的數(shù)據(jù)加入到Labeled中，繼續(xù)循環(huán)直到U中沒有數(shù)據(jù)或者達到循環(huán)最大次數(shù)。
- 協(xié)同訓練，例如Tri-train算法：使用三個分類器.對于一個無標簽樣本，如果其中兩個分類器的判別一致，則將該樣本進行標記，并將其納入另一個分類器的訓練樣本；如此重復迭代，直至所有訓練樣本都被標記或者三個分類器不再有變化。
- Self-learning：兩個樣本集合，Labeled，Unlabeled。執(zhí)行算法如下：
- 半監(jiān)督學習，隨著訓練不斷進行，自動標記的示例中的噪音會不斷積累，其負作用會越來越大。所以如term weighting工作里所述，還可以從其他用戶反饋環(huán)節(jié)提取訓練數(shù)據(jù)，類似于推薦中的隱式反饋。
- 我們看一個具體的例子，在文獻[45]中，twitter利用了三種方法，user-level priors（發(fā)布tweet的用戶屬于的領域），entity-level priors（話ti，類似于微博中的#*#），url-level priors（tweet中的url）。利用上面三種數(shù)據(jù)基于一定規(guī)則獲取到基本的訓練數(shù)據(jù)，再通過Co-Training獲取更多高質量的訓練數(shù)據(jù)。上述獲取到的都是正例數(shù)據(jù)，還需要負例樣本。按照常見的方法，從非正例樣本里隨機抽取作為負例的方法，效果并不是好，文中用到了Pu-learning去獲取高質量的負例樣本，具體請參考文獻[58]。
圖22.文獻[45]訓練數(shù)據(jù)獲取流程圖
特征提取
- 對于每條instance，運用多種文本分析方法提取特征。常見特征有：
- 分詞 or 字的ngram，對詞的權重打分，計算詞的一些領域特征，又或者計算詞向量，詞的topic分布。
- 文本串的特征，譬如sentence vector，sentence topic等。
- 提取的特征，從取值類型看，有二值特征，浮點數(shù)特征，離線值特征。
- 特征的預處理包括：
- 一般來說，我們希望instance各維特征的均值為0，方差為1或者某個有邊界的值。如果不是，最好將該維度上的取值做一個變換。
- 特征缺失值和異常值的處理也需要額外注意。
- 特征選擇，下面這些指標都可以用作篩選區(qū)分度高的特征。
- Gini-index: 一個特征的Gini-index越大，特征區(qū)分度越高。
- 信息增益(Information Gain)
- 互信息(Mutual Information)
- 相關系數(shù)(Correlation)
- 假設檢驗(Hypothesis Testing)
- 模型選擇：通常來說，常用的有監(jiān)督模型已經(jīng)足夠了，譬如lr, svm, maxent, naive-bayes，決策樹等。這些基本模型之間的效果差異不大，選擇合適的即可。上一小節(jié)講到cnn時，提到深度神經(jīng)網(wǎng)絡也可以用來做文本分類。深度神經(jīng)網(wǎng)絡相比較于傳統(tǒng)方法，特征表示能力更強，還可以自學習特征。
- 模型的正則化：一般來說，L1正則化有特征篩選的作用，用得相對較多，除此外，L2正則化，ElasticNet regularization(L1和L2的組合)也很常用。
- 對于多分類問ti，可以選擇one-vs-all方法，也可以選擇multinomial方法。兩種選擇各有各的優(yōu)點，主要考慮有：并行訓練multiple class model更復雜；不能重新訓練 a subset of topics。
- model fine-tuning。借鑒文獻[72]的思路(訓練深度神經(jīng)網(wǎng)絡時，先無監(jiān)督逐層訓練參數(shù)，再有監(jiān)督調優(yōu))，對于文本分類也可以采用類似思路，譬如可以先基于自提取的大規(guī)模訓練數(shù)據(jù)訓練一個分類模型，再利用少量的有標注訓練數(shù)據(jù)對原模型做調優(yōu)。下面這個式子是新的loss function，w是新模型參數(shù)，w0是原模型參數(shù)，l(w,b|xi,yi)是新模型的likelihood，優(yōu)化目標就是最小化“新模型參數(shù)與原模型參數(shù)的差 + 新模型的最大似然函數(shù)的負數(shù) + 正則化項”。
- model ensemble：也稱“Multi-Model System”，ensemble是提升機器學習精度的有效手段，各種競賽的冠軍隊伍的是必用手段。它的基本思想，充分利用不同模型的優(yōu)勢，取長補短，最后綜合多個模型的結果。Ensemble可以設定一個目標函數(shù)(組合多個模型)，通過訓練得到多個模型的組合參數(shù)(而不是簡單的累加或者多數(shù))。譬如在做廣告分類時，可以利用maxent和決策樹，分別基于廣告title和描述，基于廣告的landing page，基于廣告圖片訓練6個分類模型。預測時可以通過ensemble的方法組合這6個模型的輸出結果。
評測
- 評測分類任務一般參考Accuracy，recall, precision，F1-measure，micro-recall/precision，macro-recall/precision等指標。
3. 圖片語義分析
3.1 圖片分類
圖片分類是一個最基本的圖片語義分析方法。基于深度學習的圖片分類
傳統(tǒng)的圖片分類如下圖所示，首先需要先手工提取圖片特征，譬如SIFT, GIST，再經(jīng)由VQ coding和Spatial pooling，最后送入傳統(tǒng)的分類模型(例如SVM等)。
圖23. 傳統(tǒng)圖片分類流程圖
傳統(tǒng)方法里，人工特征提取是一個巨大的消耗性工作。而隨著深度學習的進展，不再需要人工特征，通過深度學習自動提取特征成為一種可能。接下來主要講述卷積神經(jīng)網(wǎng)絡在圖片分類上的使用。
下圖是一個經(jīng)典的卷積神經(jīng)網(wǎng)絡模型圖，由Hinton和他的學生Alex Krizhevsky在ILSVRC(Imagenet Large Scale Visual Recognition Competition) 2012中提出。 整個網(wǎng)絡結構包括五層卷積層和三層全連接層，網(wǎng)絡的最前端是輸入圖片的原始像素點，最后端是圖片的分類結果。一個完整的卷積層可能包括一層convolution，一層Rectified Linear Units，一層max-pooling，一層normalization。
圖24. 卷積神經(jīng)網(wǎng)絡結構圖
對于每一層網(wǎng)絡，具體的網(wǎng)絡參數(shù)配置如下圖所示。InputLayer就是輸入圖片層，每個輸入圖片都將被縮放成227*227大小，分rgb三個顏色維度輸入。Layer1~ Layer5是卷積層，以Layer1為例，卷積濾波器的大小是11*11，卷積步幅為4，本層共有96個卷積濾波器，本層的輸出則是96個55*55大小的圖片。在Layer1，卷積濾波后，還接有ReLUs操作和max-pooling操作。Layer6~ Layer8是全連接層，相當于在五層卷積層的基礎上再加上一個三層的全連接神經(jīng)網(wǎng)絡分類器。以Layer6為例，本層的神經(jīng)元個數(shù)為4096個。Layer8的神經(jīng)元個數(shù)為1000個，相當于訓練目標的1000個圖片類別。
圖25. CNN網(wǎng)絡參數(shù)配置圖
基于Alex Krizhevsky提出的cnn模型，在13nian末的時候，我們實現(xiàn)了用于廣點通的圖片分類和圖片檢索(可用于廣告圖片作弊判別)，下面是一些示例圖。
圖片分類示例：
圖26. 圖片分類示例圖
圖片檢索示例：
圖27. 圖片檢索示例圖
圖片分類上的最新進展
在ILSVRC 2012中，Alex Krizhevsky基于GPU實現(xiàn)了上述介紹的，這個有60million參數(shù)的模型(簡稱為AlexNet)，贏得了第一名。這個工作是開創(chuàng)性的，它引領了接下來ILSVRC的風潮。2013nian，Clarifai通過cnn模型可視化技術調整網(wǎng)絡架構，贏得了ILSVRC。2014nian，google也加入進來，它通過增加模型的層數(shù)（總共22層），讓深度更深[48]，并且利用multi-scale data training，取得第一名。baidu最近通過更加“粗暴”的模型[44]，在GooLeNet的基礎上，又提升了10%，top–5錯誤率降低至6%以下。具體結果如下圖所示。
圖28. ImageNet Classification Result
先簡單分析一下“GoogLeNet”[48,51]所采用的方法：
- 大大增加的網(wǎng)絡的深度，并且去掉了最頂層的全連接層：因為全連接層（Fully Connected）幾乎占據(jù)了CNN大概90%的參數(shù)，但是同時又可能帶來過擬合（overfitting）的效果。
- 模型比以前AlexNet的模型大大縮小，并且減輕了過擬合帶來的副作用。Alex模型參數(shù)是60M，GoogLeNet只有7M。
- 對于google的模型，目前已有開源的實現(xiàn)，有興趣請點擊Caffe+GoogLeNet。
- Hardware/Software Co-design。baidu基于GPU，利用36個服務節(jié)點開發(fā)了一個專為深度學習運算的supercompter(名叫Minwa，敏媧)。這臺supercomputer具備TB級的host memory，超強的數(shù)據(jù)交換能力，使能訓練一個巨大的深層神經(jīng)網(wǎng)絡成為可能。而要訓練如此巨大的神經(jīng)網(wǎng)絡，除了硬件強大外，還需要高效的并行計算框架。通常而言，都要從data-parallelism和model-data parallelism兩方面考慮。
- data-parallelism：訓練數(shù)據(jù)被分成N份。每輪迭代里，各個GPU基于各自的訓練數(shù)據(jù)計算梯度，最后累加所有梯度數(shù)據(jù)并廣播到所有GPU。
- model-data parallelism：考慮到卷積層參數(shù)較少但消耗計算量，而全連接層參數(shù)相對比較多。所以卷積層參數(shù)以local copy的形式被每個GPU所持有，而全連接層的參數(shù)則被劃分到各個CPU。每輪迭代里，卷積層計算可以由各個GPU獨立完成，全連接層計算需要由所有GPU配合完成，具體方法請參考[46]。
- Data augmentation。訓練一個如此巨大的神經(jīng)網(wǎng)絡(100billion個參數(shù))，如果沒有充分的訓練數(shù)據(jù)，模型將很大可能陷入過擬合，所以需要采用眾多data augmentation方法增加訓練數(shù)據(jù)，例如：剪裁，不同大小，調亮度，飽和度，對比度，偏色等(color casting, vignetting, lens distortion, rotation, flipping, cropping)。舉個例子，一個彩色圖片，增減某個顏色通道的intensity值，就可以生成多張圖片，但這些圖片和原圖的類目是一致的，相當于增加了訓練數(shù)據(jù)。
- Multi-scale training：訓練不同輸入圖片尺度下(例如512*512，256*256)的多個模型，最后ensemble多個模型的輸出結果。
3.2 Image2text，Image2sentence
上面講述的圖片分類對圖片語義的理解比較粗粒度，那么我們會想，是否可以將圖片直接轉化為一堆詞語或者一段文本來描述。轉化到文本后，我們積累相對深的文本處理技術就都可以被利用起來。Image2text
首先介紹一種樸素的基于卷積神經(jīng)網(wǎng)絡的image to text方法。
- 首先它利用深度卷積神經(jīng)網(wǎng)絡和深度自動編碼器提取圖片的多層特征，并據(jù)此提取圖片的visual word，建立倒排索引，產(chǎn)生一種有效而準確的圖片搜索方法。
- 再充分利用大量的互聯(lián)網(wǎng)資源，預先對大量種子圖片做語義分析，然后利用相似圖片搜索，根據(jù)相似種子圖片的語義推導出新圖片的語義。
其中種子圖片，就是可以覆蓋所有待研究圖片的行業(yè)，但較容易分析語義的圖片集。這種方法產(chǎn)生了更加豐富而細粒度的語義表征結果。雖說簡單，但效果仍然不錯，方法的關鍵在于種子圖片。利用比較好的種子圖片(例如paipai數(shù)據(jù))，簡單的方法也可以work得不錯。下圖是該方法的效果圖。
圖29. 圖片語義tag標注示例圖
上面的baseline方法，在訓練數(shù)據(jù)優(yōu)質且充分的情況下，可以取得很不錯的圖片tag提取效果，而且應用也非常廣泛。但上面的方法非常依賴于訓練數(shù)據(jù)，且不善于發(fā)現(xiàn)訓練數(shù)據(jù)之外的世界。
另一個直觀的想法，是否可以通過word embedding建立image與text的聯(lián)系[26]。例如，可以先利用CNN訓練一個圖片分類器。每個類目label可以通過word2vec映射到一個embedding表示。對于一個新圖片，先進行分類，然后對top-n類目label所對應的embedding按照權重(這里指這個類目所屬的概率)相加，得到這個圖片的embedding描述，然后再在word embedding空間里尋找與圖片embedding最相關的words。
Image detection
接下來再介紹下image detection。下圖是一個image detection的示例，相比于圖片分類，提取到信息將更加豐富。
圖30. 圖片detection示例
目前最先進的detection方法應該是Region-based CNN(簡稱R-CNN)[75]，是由Jeff Donahue和Ross Girshick提出的。R-CNN的具體想法是，將detection分為尋找object和識別object兩個過程。在第一步尋找object，可以利用很多region detection算法，譬如selective search[76]，CPMC，objectness等，利用很多底層特征，譬如圖像中的色塊，圖像中的邊界信息。第二步識別object，就可以利用“CNN+SVM”來做分類識別。
圖31. Image detection系統(tǒng)框圖
- 給定一張圖片，利用selective search方法[76]來產(chǎn)生2000個候選窗口。
- 然后利用CNN進行對每一個候選窗口提取特征(取全連接層的倒數(shù)第一層)，特征長度為4096。
- 最后用SVM分類器對這些特征進行分類（每一個目標類別一個SVM分類器），SVM的分類器的參數(shù)個數(shù)為：4096*N，其中N為目標的類別個數(shù)，所以比較容易擴展目標類別數(shù)。
Image2sentence
那能否通過深度學習方法，直接根據(jù)image產(chǎn)生sentence呢？我們先看一組實際效果，如下圖所示(copy from 文獻[43])。
圖32. image2sentence示例圖
關于這個方向，最近一nian取得了比較大的突破，工業(yè)界(Baidu[77]，Google[43]，Microsoft[80,81]等)和學術界(Stanford[35]，Borkeley[79]，UML[19]，Toronto[78]等)都發(fā)表了一系列論文。
簡單歸納一下，對這個問ti，主要有兩種解決思路：
- Pipeline方法。這個思路相對直觀一點，先學習到image中visual object對應的word(如上一節(jié)image detection所述)，再加上language model，就可以生成sentence。這種方法各個模塊可以獨立調試，相對來說，更靈活一點。如下圖所示，這是microsoft的一個工作[81]，它分為三步：(1)利用上一節(jié)提到的思路detect words；(2)基于language model(RNN or LSTM)產(chǎn)生句子；(3)利用相關性模型對句子打分排序。
? ??????
圖33. “pipeline” image captioning
- End-to-end方法，即通過一個模型直接將image轉換到sentence。google基于CNN+RNN開發(fā)了一個Image Caption Generator[43]。這個工作主要受到了基于RNN的機器翻譯[27][42]的啟發(fā)。在機器翻譯中，“encoder” RNN讀取源語言的句子，將其變換到一個固定長度的向量表示，然后“decoder” RNN將向量表示作為隱層初始值，產(chǎn)生目標語言的句子。那么一個直觀的想法是，能否復用上面的框架，考慮到CNN在圖片特征提取方面的成功應用，將encoder RNN替換成CNN，先利用CNN將圖片轉換到一個向量表示，再利用RNN將其轉換到sentence。可以通過圖片分類提前訓練好CNN模型，將CNN最后一個隱藏層作為encoder RNN的輸入，從而產(chǎn)生句子描述。如下圖所示。
圖34. “CNN+LSTM” Image Caption Generator
Li-Feifei團隊在文獻[35]也提到一種image2sentence方法，如下圖所示。與google的做法類似，圖片的CNN特征作為RNN的輸入。
圖35. “CNN+RNN”生成圖片描述
此方法有開源實現(xiàn)，有興趣請參考：neuraltalk
3.3 訓練深度神經(jīng)網(wǎng)絡的tricks
考慮到圖片語義分析的方法大部分都是基于深度學習的，Hinton的學生Ilya Sutskever寫了一篇深度學習的綜述文章[47]，其中提到了一些訓練深度神經(jīng)網(wǎng)絡的tricks，整理如下：
- 保證訓練數(shù)據(jù)的質量
- 使訓練數(shù)據(jù)各維度數(shù)值的均值為0，方差為一個比較小的值
- 訓練時使用minbatch，但不要設得過大，在合理有效的情況下，越小越好。
- 梯度歸一化，將梯度值除于minbatch size。
- 設置一個正常的learning rate，validation無提升后，則將原learning rate除于5繼續(xù)
- 模型參數(shù)隨機初始化。如果是深層神經(jīng)網(wǎng)絡，不要設置過小的random weights。
- 如果是在訓練RNN or LSTM，對梯度設置一個限值，不能超過15 or 5。
- 注意檢查梯度計算的正確性
- 如果是訓練LSTM，initialize the biases of the forget gates of the LSTMs to large values
- Data augmentation很實用。
- Dropout在訓練時很有效，不過記得測試時關掉Dropout。
- Ensembling。訓練多個神經(jīng)網(wǎng)絡，最后計算它們的預測值的平均值。
4. 總結
4.1 語義分析方法在實際業(yè)務中的使用
前面講述了很多語義分析方法，接下來我們看看如何利用這些方法幫忙我們的實際業(yè)務，這里舉一個例子，用戶廣告的語義匹配。
在廣點通系統(tǒng)中，用戶與廣告的關聯(lián)是通過定向條件來匹配的，譬如某些廣告定向到“北京+男性”，那么當“北京+男性”的用戶來到時，所有符合定向的廣告就將被檢索出，再按照“ecpm*quality”排序，將得分最高的展示給用戶。但是憑借一些人口屬性，用戶與廣告之間的匹配并不精確，做不到“廣告就是想用戶所想”，所以用戶和廣告的語義分析就將派上用場了，可以從這樣兩方面來說明：
- 特征提取。基于上面介紹的方法，提取用戶和廣告的語義特征。
- 用戶語義特征。可以從用戶的搜索，購物，點擊，閱讀記錄中發(fā)現(xiàn)用戶興趣。考慮到最終的用戶描述都是文本，那么文本topic分析，文本分類，文本keyword提取，文本核心term提取都可以運用起來，分析出用戶的語義屬性，還可以利用矩陣分解和文本分類找到相似用戶群。
- 廣告語義特征。在廣點通里，廣告可以從兩個維度來描述，一方面是文本，包括廣告title和landing page，另一方面是廣告展示圖片。利用文本和圖片的語義分析方法，我們可以提取出廣告的topic，類目，keyword，tag描述。
- 語義匹配。提取到相應的語義特征之后，怎么用于改善匹配呢？
- 用戶-廣告的語義檢索?；趉eyword、類目以及topic，對廣告建立相應的倒排索引，直接用于廣告檢索。
- 用戶-廣告的語義特征。分別提取用戶和廣告的語義特征，用于計算用戶-廣告的relevance，pctr，pcvr，達到精確排序。
4.2 Future
對于文本和圖片的語義分析，可以看到：最近幾nian，在某些任務上，基于深度學習的方法逐漸超過了傳統(tǒng)方法的效果。但目前為止，對于深度學習的發(fā)掘才剛剛開始，比較驚艷的神經(jīng)網(wǎng)絡方法，也只有有限幾種，譬如CNN，RNN，RBM等。
上文只是介紹了我們在工作中實踐過的幾個小點，還有更多方法需要我們去挖掘：
- Video。Learn about 3D structure from motion。如文獻[19]所示，研究將視頻也轉換到自然語言。
- Deep Learning + Structured Prediction，用于syntactic representation。
4.3 總結
上文主要從文本、圖片這兩方面講述了語義分析的一些方法，并結合個人經(jīng)驗做了一點總結。
原本想寫得更全面一些，但寫的時候才發(fā)現(xiàn)上面所述的只是滄海一粟，后面還有更多語義分析的內容之后再更新。另外為避免看到大篇理論就頭痛，文中盡可能不出現(xiàn)復雜的公式和理論推導。如果有興趣，可以進一步閱讀參考文獻，獲得更深的理解。謝謝。
Reference：
總結
- 上一篇： Caffe实践】如何利用Caffe训练I
- 下一篇： opencv URL