2 文本語義分析

前面講到一些文本基本處理方法。一個文本串，對其進行分詞和重要性打分后（當然還有更多的文本處理任務），就可以開始更高層的語義分析任務。

2.1 Topic Model

首先介紹主題模型。說到主題模型，第一時間會想到pLSA，NMF，LDA。關于這幾個目前業界最常用的主題模型，已經有相當多的介紹了，譬如文獻[60，64]。在這里，主要想聊一下主題模型的應用以及最新進展(考慮到LDA是pLSA的generalization，所以下面只介紹LDA)。

LDA訓練算法簡單介紹

LDA的推導這里略過不講，具體請參考文獻[64]。下面我們主要看一下怎么訓練LDA。

在Blei的原始論文中，使用variational inference和EM算法進行LDA推斷(與pLSA的推斷過程類似，E-step采用variational inference)，但EM算法可能推導出局部最優解，且相對復雜。目前常用的方法是基于gibbs sampling來做[57]。

• Step1: 隨機初始化每個詞的topic，并統計兩個頻率計數矩陣：Doc-Topic 計數矩陣N(t,d)，描述每個文檔中的主題頻率分布；Word-Topic 計數矩陣N(w,t)，表示每個主題下詞的頻率分布。
• Step2: 遍歷訓練語料，按照概率公式(下圖所示)重新采樣每個詞所對應的topic, 更新N(t,d)和N(w,t)的計數。
• Step3: 重復 step2，直到模型收斂。

對文檔d中詞w的主題z進行重新采樣的公式有非常明確的物理意義，表示為P(w|z)P(z|d)，直觀的表示為一個“路徑選擇”的過程。

圖10. gibbs sampling過程圖

以上描述過程具體請參考文獻[65]。

對于LDA模型的更多理論介紹，譬如如何實現正確性驗證，請參考文獻[68]，而關于LDA模型改進，請參考Newman團隊的最新文章《Care and Feeding of Topic Models》[12]。

主題模型的應用點

• 在廣點通內部，主題模型已經在很多方面都得到成功應用[65]，譬如文本分類特征，相關性計算，ctr預估，精確廣告定向，矩陣分解等。具體來說，基于主題模型，可以計算出文本，用戶的topic分布，將其當作pctr，relevance的特征，還可以將其當作一種矩陣分解的方法，用于降維，推薦等。不過在我們以往的成功運用中，topic模型比較適合用做某些機器學習任務的特征，而不適合作為一種獨立的方法去解決某種特定的問題，例如觸發，分類。Blei是這樣評價lda的：it can easily be used as a module in more complicated models for more complicated goals。
• 為什么topic model不適合作為一種獨立的方法去解決某種特定的問題(例如分類，觸發等)。
  • 個人總結，主要原因是lda模型可控性可解釋性相對比較差：對于每個topic，不能用很明確的語義歸納出這個topic在講什么；重新訓練一遍lda模型，每個topic id所對應的語義可能發生了變化；有些topic的準確性比較好，有些比較差，而對于比較差的topic，沒有特別好的針對性的方法去優化它；
  • 另外一個就是topic之間的重復，特別是在topic數目比較多的情況，重復幾乎是不可避免的，當時益總(yiwang)在開發peacock的時候，deduplicate topic就是一個很重要的任務。如果多個topic描述的意思一致時，用topic id來做檢索觸發，效果大半是不好的，后來我們也嘗試用topic word來做，但依舊不夠理想。

主題模型最新進展

首先主題模型自PLSA, LDA后，又提出了很多變體，譬如HDP。LDA的topic number是預先設定的，而HDP的topic number是不固定，而是從訓練數據中學習得到的，這在很多場景是有用的，具體參考hdp vs lda。想了解更多LDA模型的升級，請參考文獻[73,74]。

深度學習方面，Geoff Hinton及其學生用Deep Boltzmann Machine研究出了類似LDA的隱變量文本模型[82]，文章稱其抽取的特征在文本檢索與文本分類上的結果比LDA好。heavenfireray在其微博評論道：lda結構是word-hidden topic。類lda結構假設在topic下產生每個word是條件獨立而且參數相同。這種假設導致參數更匹配長文而非短文。該文章提出word-hidden topic-hidden word，其實是(word,hidden word)-hidden topic，增加的hidden word平衡了參數對短文的適配，在分類文章數量的度量上更好很自然。

其次，隨著目前互聯網的數據規模的逐漸增加，大規模并行PLSA，LDA訓練將是主旋律。大規模主題模型訓練，除了從系統架構上進行優化外，更關鍵的，還需要在算法本身上做升級。variational方法不太適合并行化，且速度相對也比較慢，這里我們著重看sampling-base inference。

• collapsed Gibbs sampler[57]：O(K)復雜度，K表示topic的總個數。
• SparseLDA[66]：算法復雜度為O(Kd + Kw)，Kd表示文檔d所包含的topic個數，Kw表示詞w所屬的topic個數，考慮到一個文檔所包含的topic和一個詞所屬的topic個數是有限的，肯定遠小于K，所以相比于collapsed Gibbs，復雜度已有較大的下降。
• AliasLDA[56]：利用alias table和Metropolis-Hastings，將詞這個維度的采樣復雜度降至O(1)。所以算法總復雜度為O(Kd)。
• Metropolis-Hastings sampler[13]：復雜度降至O(1)。這里不做分析了，具體請參考文獻[13]

主題模型并行化

在文獻[67]中，Newman團隊提出了LDA算法的并行化版本Approximate distributed-LDA，如下圖所示：

圖11. AD-LDA算法

在原始gibbs sampling算法里，N(w,t)這個矩陣的更新是串行的，但是研究發現，考慮到N(w,t)矩陣在迭代過程中，相對變化較小，多個worker獨立更新N(w,t)，在一輪迭代結束后再根據多個worker的本地更新合并到全局更新N(w,t)，算法依舊可以收斂[67]。

那么，主題模型的并行化(不僅僅是主題模型，其實是絕大部分機器學習算法)，主要可以從兩個角度來說明：數據并行和模型并行。

• 數據并行。這個角度相對比較直觀，譬如對于LDA模型，可以將訓練數據按照worker數目切分為M片(M為worker數)，每個worker保存一份全局的N(w,t)矩陣，在一輪迭代里，各個worker獨立計算，迭代結束后，合并各個worker的本地更新。這個思路可以借用目前通用的并行計算框架，譬如Spark，Hadoop，Graphlab等來實現。
• 模型并行。考慮到矩陣N(w,t)在大規模主題模型中相當巨大，單機內存不可能存下。所以直觀的想法，可以將N(w,t)也切分成多個分片。N(w,t)可以考慮使用全局的parameter server來存儲，也可以考慮存儲在不同worker上，利用MPI AllReduce來通信。

數據與模型并行，可以形象的描述為一個棋盤。棋盤的行按照數據劃分，棋盤的列按照模型劃分。LDA的并行化，就是通過這樣的切分，將原本巨大的，不可能在單機存儲的矩陣切分到不同的機器，使每臺機器都能夠將參數存儲在內存。再接著，各個worker相對獨立計算，計算的過程中不時按照某些策略同步模型數據。

最近幾年里，關于LDA并行化已有相當多的開源實現，譬如：PLDA，PLDA+Yahoo LDAParameter server

最近的并行LDA實現Peacock[70,65]和LigthLda[13]沒有開源，但我們可以從其論文一窺究竟，總體來說，并行化的大體思路是一致的。譬如LightLDA[13]，下圖是實現架構框圖，它將訓練數據切分成多個Block，模型通過parameter server來同步，每個data block，類似于sliding windows，在計算完V1的采樣后，才會去計算V2的采樣(下圖中V1,V2,V3表示word空間的劃分，即模型的劃分)。

圖12. LightLda并行結構圖

2.2 詞向量，句向量

詞向量是什么

在文本分析的vector space model中，是用向量來描述一個詞的，譬如最常見的One-hot representation。One-hot representation方法的一個明顯的缺點是，詞與詞之間沒有建立關聯。在深度學習中，一般用Distributed Representation來描述一個詞，常被稱為“Word Representation”或“Word Embedding”，也就是我們俗稱的“詞向量”。

詞向量起源于hinton在1986年的論文[11]，后來在Bengio的ffnnlm論文[3]中，被發揚光大，但它真正被我們所熟知，應該是word2vec[14]的開源。在ffnnlm中，詞向量是訓練語言模型的一個副產品，不過在word2vec里，是專門來訓練詞向量，所以word2vec相比于ffnnlm的區別主要體現在：

• 模型更加簡單，去掉了ffnnlm中的隱藏層，并去掉了輸入層跳過隱藏層直接到輸出層的連接。
• 訓練語言模型是利用第m個詞的前n個詞預測第m個詞，而訓練詞向量是用其前后各n個詞來預測第m個詞，這樣做真正利用了上下文來預測，如下圖所示。

圖13. word2vec的訓練算法

上圖是word2vec的兩種訓練算法：CBOW(continuous bag-of-words)和Skip-gram。在cbow方法里，訓練目標是給定一個word的context，預測word的概率；在skip-gram方法里，訓練目標則是給定一個word，預測word的context的概率。

關于word2vec，在算法上還有較多可以學習的地方，例如利用huffman編碼做層次softmax，negative sampling，工程上也有很多trick，具體請參考文章[16][17]。

詞向量的應用

詞向量的應用點：

• 可以挖掘詞之間的關系，譬如同義詞。
• 可以將詞向量作為特征應用到其他機器學習任務中，例如作為文本分類的feature，Ronan collobert在Senna[37]中將詞向量用于POS, CHK, NER等任務。
• 用于機器翻譯[28]。分別訓練兩種語言的詞向量，再通過詞向量空間中的矩陣變換，將一種語言轉變成另一種語言。
• word analogy，即已知a之于b猶如c之于d，現在給出 a、b、c，C(a)-C(b)+C(c)約等于C(d)，C(*)表示詞向量。可以利用這個特性，提取詞語之間的層次關系。
• Connecting Images and Sentences，image understanding。例如文獻，DeViSE: A deep visual-semantic em-bedding model。
• Entity completion in Incomplete Knowledge bases or ontologies，即relational extraction。Reasoning with neural tensor net- works for knowledge base completion。
• more word2vec applications，點擊link1，link2

除了產生詞向量，word2vec還有很多其他應用領域，對此我們需要把握兩個概念：doc和word。在詞向量訓練中，doc指的是一篇篇文章，word就是文章中的詞。

• 假設我們將一簇簇相似的用戶作為doc（譬如QQ群），將單個用戶作為word，我們則可以訓練user distributed representation，可以借此挖掘相似用戶。
• 假設我們將一個個query session作為doc，將query作為word，我們則可以訓練query distributed representation，挖掘相似query。

句向量

分析完word distributed representation，我們也許會問，phrase，sentence是否也有其distributed representation。最直觀的思路，對于phrase和sentence，我們將組成它們的所有word對應的詞向量加起來，作為短語向量，句向量。在參考文獻[34]中，驗證了將詞向量加起來的確是一個有效的方法，但事實上還有更好的做法。

Le和Mikolov在文章《Distributed Representations of Sentences and Documents》[20]里介紹了sentence vector，這里我們也做下簡要分析。

先看c-bow方法，相比于word2vec的c-bow模型，區別點有：

• 訓練過程中新增了paragraph id，即訓練語料中每個句子都有一個唯一的id。paragraph id和普通的word一樣，也是先映射成一個向量，即paragraph vector。paragraph vector與word vector的維數雖一樣，但是來自于兩個不同的向量空間。在之后的計算里，paragraph vector和word vector累加或者連接起來，作為輸出層softmax的輸入。在一個句子或者文檔的訓練過程中，paragraph id保持不變，共享著同一個paragraph vector，相當于每次在預測單詞的概率時，都利用了整個句子的語義。
• 在預測階段，給待預測的句子新分配一個paragraph id，詞向量和輸出層softmax的參數保持訓練階段得到的參數不變，重新利用梯度下降訓練待預測的句子。待收斂后，即得到待預測句子的paragraph vector。

圖14. sentence2vec cBow算法

sentence2vec相比于word2vec的skip-gram模型，區別點為：在sentence2vec里，輸入都是paragraph vector，輸出是該paragraph中隨機抽樣的詞。

圖15. sentence2vec Skip-gram算法

下面是sentence2vec的結果示例。先利用中文sentence語料訓練句向量，然后通過計算句向量之間的cosine值，得到最相似的句子。可以看到句向量在對句子的語義表征上還是相當驚嘆的。

圖16. sentence2vec 結果示例

詞向量的改進

• 學習詞向量的方法主要分為：Global matrix factorization和Shallow Window-Based。Global matrix factorization方法主要利用了全局詞共現，例如LSA；Shallow Window-Based方法則主要基于local context window，即局部詞共現，word2vec是其中的代表；Jeffrey Pennington在word2vec之后提出了GloVe，它聲稱結合了上述兩種方法，提升了詞向量的學習效果。它與word2vec的更多對比請點擊GloVe vs word2vec，GloVe & word2vec評測。
• 目前通過詞向量可以充分發掘出“一義多詞”的情況，譬如“快遞”與“速遞”；但對于“一詞多義”，束手無策，譬如“蘋果”(既可以表示蘋果手機、電腦，又可以表示水果)，此時我們需要用多個詞向量來表示多義詞。

2.3 卷積神經網絡

卷積

介紹卷積神經網絡(convolutional neural network，簡記cnn)之前，我們先看下卷積。

在一維信號中，卷積的運算，請參考wiki，其中的圖示很清楚。在圖像處理中，對圖像用一個卷積核進行卷積運算，實際上是一個濾波的過程。下面是卷積的數學表示：

f(x,y)是圖像上點(x,y)的灰度值，w(x,y)則是卷積核，也叫濾波器。卷積實際上是提供了一個權重模板，這個模板在圖像上滑動，并將中心依次與圖像中每一個像素對齊，然后對這個模板覆蓋的所有像素進行加權，并將結果作為這個卷積核在圖像上該點的響應。如下圖所示，卷積操作可以用來對圖像做邊緣檢測，銳化，模糊等。

圖17. 卷積操作示例

什么是卷積神經網絡

卷積神經網絡是一種特殊的、簡化的深層神經網絡模型，它的每個卷積層都是由多個卷積濾波器組成。它最先由lecun在LeNet[40]中提出，網絡結構如下圖所示。在cnn中，圖像的一小部分（局部感受區域）作為層級結構的最低層的輸入，信息再依次傳輸到不同的層，每層通過多個卷積濾波器去獲得觀測數據的最顯著的特征。

圖18. Lenet5網絡結構圖

卷積神經網絡中的每一個特征提取層（卷積層）都緊跟著一個用來求局部平均與二次提取的計算層（pooling層），這種特有的兩次特征提取結構使網絡在識別時對輸入樣本有較高的畸變容忍能力。如下圖所示，就是一個完整的卷積過程[21]。

圖19. 一次完整的卷積過程

它的特殊性體現在兩點：(1)局部感受野(receptive?field)，cnn的神經元間的連接是非全連接的；(2)同一層中同一個卷積濾波器的權重是共享的（即相同的）。局部感受野和權重共享這兩個特點，使cnn網絡結構更類似于生物神經網絡，降低了網絡模型的復雜度，減少了神經網絡需要訓練的參數的個數。

卷積神經網絡的一些細節

接下來結合文獻[25]，再講講卷積神經網絡的一些注意點和問題。

• 激勵函數，要選擇非線性函數，譬如tang，sigmoid，rectified liner。在CNN里，relu用得比較多，原因在于：(1)簡化BP計算；(2)使學習更快。(3)避免飽和問題(saturation issues)
• Pooling：其作用在于(1)對一些小的形態改變保持不變性，Invariance to small transformations；(2)擁有更大的感受域，Larger receptive fields。pooling的方式有sum or max。
• Normalization：Equalizes the features maps。它的作用有：(1) Introduces local competition between features；(2)Also helps to scale activations at each layer better for learning；(3)Empirically, seems to help a bit (1–2%) on ImageNet
• 訓練CNN：back-propagation；stochastic gradient descent；Momentum；Classification loss，cross-entropy；Gpu實現。
• 預處理：Mean removal；Whitening(ZCA)
• 增強泛化能力：Data augmentation；Weight正則化；在網絡里加入噪聲，包括DropOut，DropConnect，Stochastic pooling。
  • DropOut：只在全連接層使用，隨機的將全連接層的某些神經元的輸出置為0。
  • DropConnect：也只在全連接層使用，Random binary mask on weights
  • Stochastic Pooling：卷積層使用。Sample location from multinomial。
• 模型不work，怎么辦？結合我自身的經驗，learning rate初始值設置得太大，開始設置為0.01，以為很小了，但實際上0.001更合適。

卷積神經網絡在文本上的應用

卷積神經網絡在image classify和image detect上得到諸多成功的應用，后文將再詳細闡述。但除了圖片外，它在文本分析上也取得一些成功的應用。

基于CNN，可以用來做文本分類，情感分析，本體分類等[36,41,84]。傳統文本分類等任務，一般基于bag of words或者基于word的特征提取，此類方法一般需要領域知識和人工特征。利用CNN做，方法也類似，但一般都是基于raw text，CNN模型的輸入可以是word series，可以是word vector，還可以是單純的字符。比起傳統方法，CNN不需要過多的人工特征。

• 將word series作為輸入，利用CNN做文本分類。如下圖所示[36]，該CNN很簡單，共分四層，第一層是詞向量層，doc中的每個詞，都將其映射到詞向量空間，假設詞向量為k維，則n個詞映射后，相當于生成一張n*k維的圖像；第二層是卷積層，多個濾波器作用于詞向量層，不同濾波器生成不同的feature map；第三層是pooling層，取每個feature map的最大值，這樣操作可以處理變長文檔，因為第三層輸出只依賴于濾波器的個數；第四層是一個全連接的softmax層，輸出是每個類目的概率。除此之外，輸入層可以有兩個channel，其中一個channel采用預先利用word2vec訓練好的詞向量，另一個channel的詞向量可以通過backpropagation在訓練過程中調整。這樣做的結果是：在目前通用的7個分類評測任務中，有4個取得了state-of-the-art的結果，另外3個表現接近最好水平。
  

  圖20.基于CNN的文本分類

  利用cnn做文本分類，還可以考慮到詞的順序。利用傳統的”bag-of-words + maxent/svm”方法，是沒有考慮詞之間的順序的。文獻[41]中提出兩種cnn模型：seq-cnn, bow-cnn，利用這兩種cnn模型，均取得state-of-the-art結果。

• 將doc character作為輸入，利用CNN做文本分類。文獻[86]介紹了一種方法，不利用word，也不利用word vector，直接將字符系列作為模型輸入，這樣輸入維度大大下降(相比于word)，有利于訓練更復雜的卷積網絡。對于中文，可以將漢字的拼音系列作為輸入。

2.4 文本分類

文本分類應該是最常見的文本語義分析任務了。首先它是簡單的，幾乎每一個接觸過nlp的同學都做過文本分類，但它又是復雜的，對一個類目標簽達幾百個的文本分類任務，90%以上的準確率召回率依舊是一個很困難的事情。這里說的文本分類，指的是泛文本分類，包括query分類，廣告分類，page分類，用戶分類等，因為即使是用戶分類，實際上也是對用戶所屬的文本標簽，用戶訪問的文本網頁做分類。

幾乎所有的機器學習方法都可以用來做文本分類，常用的主要有：lr，maxent，svm等，下面介紹一下文本分類的pipeline以及注意點。

• 建立分類體系。
  • 分類相比于topic model或者聚類，一個顯著的特點是：類目體系是確定的。而不像在聚類和LDA里，一個類被聚出來后，但這個類到底是描述什么的，或者這個類與另外的類是什么關系，這些是不確定的，這樣會帶來使用和優化上的困難。
  • 一般而言，類目體系是由人工設定的。而類目體系的建立往往需要耗費很多人工研究討論，一方面由于知識面的限制，人工建立的類目體系可能不能覆蓋所有情況；另一方面，還可能存在類目之間instance數的不平衡。比較好的方法，是基于目前已有的類目體系再做一些加工，譬如ODP，FreeBase等。
  • 還可以先用某種無監督的聚類方法，將訓練文本劃分到某些clusters，建立這些clusters與ODP類目體系的對應關系，然后人工review這些clusters，切分或者合并cluster，提煉name，再然后根據知識體系，建立層級的taxonomy。
  • 如果類目標簽數目很多的話，我們一般會將類目標簽按照一定的層次關系，建立類目樹，如下圖所示。那么接下來就可以利用層次分類器來做分類，先對第一層節點訓練一個分類器，再對第二層訓練n個分類器(n為第一層的節點個數)，依次類推。利用層次類目樹，一方面單個模型更簡單也更準確，另一方面可以避免類目標簽之間的交叉影響，但如果上層分類有誤差，誤差將會向下傳導。
    

    ?

    圖21. 層次類目體系

• 獲取訓練數據
  • 一般需要人工標注訓練數據。人工標注，準確率高，但標注工作量大，耗費人力。
  • 為了減少標注代價，利用無標記的樣本，提出了半監督學習(Semi-supervised Learning)，主要考慮如何利用少量的標注樣本和大量的未標注樣本進行訓練和分類的問題。這里介紹兩種常見的半監督算法，希望了解更多請參考文獻[49]。
    • Self-learning：兩個樣本集合，Labeled，Unlabeled。執行算法如下：
      • 用Labeled樣本集合，生成分類策略F
      • 用F分類Unlabeled樣本，計算誤差
      • 選取Unlabeled中誤差小的子集u，加入到Labeled集合。

      接著重復上述步驟。

      舉一個例子：以前在做page分類器時，先對每一個類人工篩選一些特征詞，然后根據這些特征詞對億級文本網頁分類，再然后對每一個明確屬于該類的網頁提取更多的特征詞，加入原有的特征詞詞表，再去做分類；中間再輔以一定的人工校驗，這種方法做下來，效果還是不錯的，更關鍵的是，如果發現那個類有badcase，可以人工根據badcase調整某個特征詞的權重，簡單粗暴又有效。

    • Co-training：其主要思想是：每次循環，從Labeled數據中訓練出兩個不同的分類器，然后用這兩個分類器對Unlabeled中數據進行分類，把可信度最高的數據加入到Labeled中，繼續循環直到U中沒有數據或者達到循環最大次數。
    • 協同訓練，例如Tri-train算法：使用三個分類器.對于一個無標簽樣本，如果其中兩個分類器的判別一致，則將該樣本進行標記，并將其納入另一個分類器的訓練樣本；如此重復迭代，直至所有訓練樣本都被標記或者三個分類器不再有變化。
  • 半監督學習，隨著訓練不斷進行，自動標記的示例中的噪音會不斷積累，其負作用會越來越大。所以如term weighting工作里所述，還可以從其他用戶反饋環節提取訓練數據，類似于推薦中的隱式反饋。
  • 我們看一個具體的例子，在文獻[45]中，twitter利用了三種方法，user-level priors（發布tweet的用戶屬于的領域），entity-level priors（話題，類似于微博中的#*#），url-level priors（tweet中的url）。利用上面三種數據基于一定規則獲取到基本的訓練數據，再通過Co-Training獲取更多高質量的訓練數據。上述獲取到的都是正例數據，還需要負例樣本。按照常見的方法，從非正例樣本里隨機抽取作為負例的方法，效果并不是好，文中用到了Pu-learning去獲取高質量的負例樣本，具體請參考文獻[58]。
    

    圖22.文獻[45]訓練數據獲取流程圖

• 特征提取
  • 對于每條instance，運用多種文本分析方法提取特征。常見特征有：
    • 分詞 or 字的ngram，對詞的權重打分，計算詞的一些領域特征，又或者計算詞向量，詞的topic分布。
    • 文本串的特征，譬如sentence vector，sentence topic等。
  • 提取的特征，從取值類型看，有二值特征，浮點數特征，離線值特征。
  • 特征的預處理包括：
    • 一般來說，我們希望instance各維特征的均值為0，方差為1或者某個有邊界的值。如果不是，最好將該維度上的取值做一個變換。
    • 特征缺失值和異常值的處理也需要額外注意。
  • 特征選擇，下面這些指標都可以用作篩選區分度高的特征。
    • Gini-index: 一個特征的Gini-index越大，特征區分度越高。
    • 信息增益(Information Gain)
    • 互信息(Mutual Information)
    • 相關系數(Correlation)
    • 假設檢驗(Hypothesis Testing)
• 模型訓練
  • 模型選擇：通常來說，常用的有監督模型已經足夠了，譬如lr, svm, maxent, naive-bayes，決策樹等。這些基本模型之間的效果差異不大，選擇合適的即可。上一小節講到cnn時，提到深度神經網絡也可以用來做文本分類。深度神經網絡相比較于傳統方法，特征表示能力更強，還可以自學習特征。
  • 模型的正則化：一般來說，L1正則化有特征篩選的作用，用得相對較多，除此外，L2正則化，ElasticNet regularization(L1和L2的組合)也很常用。
  • 對于多分類問題，可以選擇one-vs-all方法，也可以選擇multinomial方法。兩種選擇各有各的優點，主要考慮有：并行訓練multiple class model更復雜；不能重新訓練 a subset of topics。
  • model fine-tuning。借鑒文獻[72]的思路(訓練深度神經網絡時，先無監督逐層訓練參數，再有監督調優)，對于文本分類也可以采用類似思路，譬如可以先基于自提取的大規模訓練數據訓練一個分類模型，再利用少量的有標注訓練數據對原模型做調優。下面這個式子是新的loss function，w是新模型參數，w0是原模型參數，l(w,b|xi,yi)是新模型的likelihood，優化目標就是最小化“新模型參數與原模型參數的差 + 新模型的最大似然函數的負數 + 正則化項”。
  minw,bδ2||w?w0||22–1?δn∑i=1nl(w,b|xi,yi)+λ(α||w||1+1?α2||w||22)
  • model ensemble：也稱“Multi-Model System”，ensemble是提升機器學習精度的有效手段，各種競賽的冠軍隊伍的是必用手段。它的基本思想，充分利用不同模型的優勢，取長補短，最后綜合多個模型的結果。Ensemble可以設定一個目標函數(組合多個模型)，通過訓練得到多個模型的組合參數(而不是簡單的累加或者多數)。譬如在做廣告分類時，可以利用maxent和決策樹，分別基于廣告title和描述，基于廣告的landing page，基于廣告圖片訓練6個分類模型。預測時可以通過ensemble的方法組合這6個模型的輸出結果。
• 評測
  • 評測分類任務一般參考Accuracy，recall, precision，F1-measure，micro-recall/precision，macro-recall/precision等指標。

參考文獻

總結

以上是生活随笔為你收集整理的语义分析的一些方法(中篇)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。