一只小狐貍帶你解鎖NLP/ML/DL秘籍

正文作者：郭耀華
正文來(lái)源：
https://www.cnblogs.com/guoyaohua/p/9229190.html

前言

在NLP領(lǐng)域，語(yǔ)義相似度的計(jì)算一直是個(gè)難題：搜索場(chǎng)景下Query和Doc的語(yǔ)義相似度、feeds場(chǎng)景下Doc和Doc的語(yǔ)義相似度、機(jī)器翻譯場(chǎng)景下A句子和B句子的語(yǔ)義相似度等等。本文通過(guò)介紹DSSM、CNN-DSSM、LSTM-DSSM等深度學(xué)習(xí)模型在計(jì)算語(yǔ)義相似度上的應(yīng)用，希望給讀者帶來(lái)幫助。

1. 背景

以搜索引擎和搜索廣告為例，最重要的也最難解決的問(wèn)題是語(yǔ)義相似度，這里主要體現(xiàn)在兩個(gè)方面：召回和排序。

• 在召回時(shí)，傳統(tǒng)的文本相似性如 BM25，無(wú)法有效發(fā)現(xiàn)語(yǔ)義類 Query-Doc 結(jié)果對(duì)，如"從北京到上海的機(jī)票"與"攜程網(wǎng)"的相似性、"快遞軟件"與"菜鳥(niǎo)裹裹"的相似性。

• 在排序時(shí)，一些細(xì)微的語(yǔ)言變化往往帶來(lái)巨大的語(yǔ)義變化，如"小寶寶生病怎么辦"和"狗寶寶生病怎么辦"、"深度學(xué)習(xí)"和"學(xué)習(xí)深度"。

DSSM（Deep Structured Semantic Models） 為計(jì)算語(yǔ)義相似度提供了一種思路。

本文的最后，筆者結(jié)合自身業(yè)務(wù)，對(duì) DSSM 的使用場(chǎng)景做了一些總結(jié)，不是所有的業(yè)務(wù)都適合用 DSSM。

?

2. DSSM 深度語(yǔ)義匹配模型

DSSM [1]（Deep Structured Semantic Models）的原理很簡(jiǎn)單，通過(guò)搜索引擎里 Query 和 Title 的海量的點(diǎn)擊曝光日志，用 DNN 把 Query 和 Title 表達(dá)為低維語(yǔ)義向量，并通過(guò) cosine 距離來(lái)計(jì)算兩個(gè)語(yǔ)義向量的距離，最終訓(xùn)練出語(yǔ)義相似度模型。該模型既可以用來(lái)預(yù)測(cè)兩個(gè)句子的語(yǔ)義相似度，又可以獲得某句子的低維語(yǔ)義向量表達(dá)（壓縮文本）。

DSSM 從下往上可以分為三層結(jié)構(gòu)：輸入層、表示層、匹配層

2.1 輸入層

輸入層做的事情是把句子映射到一個(gè)向量空間里并輸入到 DNN 中，這里英文和中文的處理方式有很大的不同。

（1）英文

英文的輸入層處理方式是通過(guò)Word Hashing。舉個(gè)例子，假設(shè)用 letter-trigams 來(lái)切分單詞（3 個(gè)字母為一組，#表示開(kāi)始和結(jié)束符），boy 這個(gè)單詞會(huì)被切為 #-b-o, b-o-y, o-y-#

這樣做的好處有兩個(gè)：首先是壓縮空間，50 萬(wàn)個(gè)詞的 one-hot 向量空間可以通過(guò) letter-trigram 壓縮為一個(gè) 3 萬(wàn)維的向量空間。其次是增強(qiáng)范化能力，三個(gè)字母的表達(dá)往往能代表英文中的前綴和后綴，而前綴后綴往往具有通用的語(yǔ)義。

這里之所以用 3 個(gè)字母的切分粒度，是綜合考慮了向量空間和單詞沖突：

以 50 萬(wàn)個(gè)單詞的詞庫(kù)為例，2 個(gè)字母的切分粒度的單詞沖突為 1192（沖突的定義：至少有兩個(gè)單詞的 letter-bigram 向量完全相同），而 3 個(gè)字母的單詞沖突降為 22 效果很好，且轉(zhuǎn)化后的向量空間 3 萬(wàn)維不是很大，綜合考慮選擇 3 個(gè)字母的切分粒度。

（2）中文

中文的輸入層處理方式與英文有很大不同，首先中文分詞是個(gè)讓所有 NLP 從業(yè)者頭疼的事情，即便業(yè)界號(hào)稱能做到 95%左右的分詞準(zhǔn)確性，但分詞結(jié)果極為不可控，往往會(huì)在分詞階段引入誤差。所以這里我們不分詞，而是仿照英文的處理方式，對(duì)應(yīng)到中文的最小粒度就是單字了。（曾經(jīng)有人用偏旁部首切的，感興趣的朋友可以試試）

由于常用的單字為 1.5 萬(wàn)左右，而常用的雙字大約到百萬(wàn)級(jí)別了，所以這里出于向量空間的考慮，采用字向量（one-hot）作為輸入，向量空間約為 1.5 萬(wàn)維。

2.2 表示層

DSSM 的表示層采用 BOW(Bag of words)的方式，相當(dāng)于把字向量的位置信息拋棄了，整個(gè)句子里的詞都放在一個(gè)袋子里了，不分先后順序。當(dāng)然這樣做會(huì)有問(wèn)題，我們先為 CNN-DSSM 和 LSTM-DSSM 埋下一個(gè)伏筆。緊接著是一個(gè)含有多個(gè)隱層的 DNN，如下圖所示：

用 Wi 表示第 i 層的權(quán)值矩陣，bi 表示第 i 層的 bias 項(xiàng)。則第一隱層向量 l1（300 維），第 i 個(gè)隱層向量 li（300 維），輸出向量 y（128 維）可以分別表示為：

用 tanh 作為隱層和輸出層的激活函數(shù)：

最終輸出一個(gè) 128 維的低緯語(yǔ)義向量。

2.3 匹配層

Query 和 Doc 的語(yǔ)義相似性可以用這兩個(gè)語(yǔ)義向量(128 維) 的 cosine 距離(即余弦相似度)?來(lái)表示：

通過(guò)?softmax?函數(shù)可以把 Query 與正樣本 Doc 的語(yǔ)義相似性轉(zhuǎn)化為一個(gè)后驗(yàn)概率：

其中 r 為 softmax 的平滑因子，D 為 Query 下的正樣本，D-為 Query 下的負(fù)樣本（采取隨機(jī)負(fù)采樣），D 為 Query 下的整個(gè)樣本空間。

在訓(xùn)練階段，通過(guò)極大似然估計(jì)，我們最小化損失函數(shù)：

殘差會(huì)在表示層的 DNN 中反向傳播，最終通過(guò)隨機(jī)梯度下降（SGD）使模型收斂，得到各網(wǎng)絡(luò)層的參數(shù){Wi,bi}。

2.4 優(yōu)缺點(diǎn)

優(yōu)點(diǎn)：
DSSM 用字向量作為輸入既可以減少切詞的依賴，又可以提高模型的范化能力，因?yàn)槊總€(gè)漢字所能表達(dá)的語(yǔ)義是可以復(fù)用的。另一方面，傳統(tǒng)的輸入層是用 Embedding 的方式（如 Word2Vec 的詞向量）或者主題模型的方式（如 LDA 的主題向量）來(lái)直接做詞的映射，再把各個(gè)詞的向量累加或者拼接起來(lái)，由于 Word2Vec 和 LDA 都是無(wú)監(jiān)督的訓(xùn)練，這樣會(huì)給整個(gè)模型引入誤差，DSSM 采用統(tǒng)一的有監(jiān)督訓(xùn)練，不需要在中間過(guò)程做無(wú)監(jiān)督模型的映射，因此精準(zhǔn)度會(huì)比較高。。

缺點(diǎn)：
上文提到 DSSM 采用詞袋模型（BOW），因此喪失了語(yǔ)序信息和上下文信息。另一方面，DSSM 采用弱監(jiān)督、端到端的模型，預(yù)測(cè)結(jié)果不可控。

?

3. CNN-DSSM?

針對(duì) DSSM 詞袋模型丟失上下文信息的缺點(diǎn)，CLSM[2]（convolutional latent semantic model）應(yīng)運(yùn)而生，又叫 CNN-DSSM。CNN-DSSM 與 DSSM 的區(qū)別主要在于輸入層和表示層。

3.1 輸入層

（1）英文

英文的處理方式，除了上文提到的 letter-trigram，CNN-DSSM 還在輸入層增加了word-trigram

如上圖所示，word-trigram其實(shí)就是一個(gè)包含了上下文信息的滑動(dòng)窗口。?舉個(gè)例子：把<s> online auto body ... <s>這句話提取出前三個(gè)詞<s> online auto，之后再?分別對(duì)這三個(gè)詞進(jìn)行 letter-trigram 映射到一個(gè) 3 萬(wàn)維的向量空間里，然后把三個(gè)向量 concat 起來(lái)，最終映射到一個(gè) 9 萬(wàn)維的向量空間里。

（2）中文

英文的處理方式（word-trigram letter-trigram）在中文中并不可取，因?yàn)橛⑽闹须m然用了 word-ngram 把樣本空間拉成了百萬(wàn)級(jí)，但是經(jīng)過(guò) letter-trigram 又把向量空間降到可控級(jí)別，只有 3*30K（9 萬(wàn)）。而中文如果用 word-trigram，那向量空間就是百萬(wàn)級(jí)的了，顯然還是字向量（1.5 萬(wàn)維）比較可控。

3.2 表示層

CNN-DSSM 的表示層由一個(gè)卷積神經(jīng)網(wǎng)絡(luò)組成，如下圖所示：

（1）卷積層——Convolutional layer

卷積層的作用是提取滑動(dòng)窗口下的上下文特征。?以下圖為例，假設(shè)輸入層是一個(gè) 302*90000（302 行，9 萬(wàn)列）的矩陣，代表 302 個(gè)字向量（Query 的和 Doc 的長(zhǎng)度一般小于 300，這里少了就補(bǔ)全，多了就截?cái)?#xff09;，每個(gè)字向量有 9 萬(wàn)維。而卷積核是一個(gè) 3*90000 的權(quán)值矩陣，卷積核以步長(zhǎng)為 1 向下移動(dòng)，得到的 feature map 是一個(gè) 300*1 的矩陣，feature map 的計(jì)算公式是(輸入層維數(shù) 302-卷積核大小 3 步長(zhǎng) 1)/步長(zhǎng) 1=300。而這樣的卷積核有 300 個(gè)，所以形成了 300 個(gè) 300*1 的 feature map 矩陣。

根據(jù)論文原文也可以這樣理解：

每個(gè)英文單詞經(jīng)過(guò) word hash 之后都可以由一個(gè)30K大小的向量表示，我們的卷積可以理解為一維卷積，窗口大小為3，即將待卷積部分三個(gè)單詞拼接成一個(gè)90K的向量，而卷積核為一個(gè) 90K*300 的矩陣，每次卷積輸出一個(gè) 1*300 的向量。

（2）池化層——Max pooling layer

池化層的作用是為句子找到全局的上下文特征。池化層以 Max-over-time pooling 的方式，每個(gè) feature map 都取最大值，得到一個(gè) 300 維的向量。Max-over-pooling 可以解決可變長(zhǎng)度的句子輸入問(wèn)題（因?yàn)椴还?Feature Map 中有多少個(gè)值，只需要提取其中的最大值）。不過(guò)我們?cè)谏弦徊揭呀?jīng)做了句子的定長(zhǎng)處理（固定句子長(zhǎng)度為 302），所以就沒(méi)有可變長(zhǎng)度句子的問(wèn)題。最終池化層的輸出為各個(gè) Feature Map 的最大值，即一個(gè) 300*1 的向量。這里多提一句，之所以 Max pooling 層要保持固定的輸出維度，是因?yàn)橄乱粚尤溄訉右笥泄潭ǖ妮斎雽訑?shù)，才能進(jìn)行訓(xùn)練。

（3）全連接層——Semantic layer

最后通過(guò)全連接層把一個(gè) 300 維的向量轉(zhuǎn)化為一個(gè) 128 維的低維語(yǔ)義向量。全連接層采用 tanh 函數(shù)：

3.3 匹配層

CNN-DSSM 的匹配層和 DSSM 的一樣，這里省略。

3.4 優(yōu)缺點(diǎn)

優(yōu)點(diǎn)：

CNN-DSSM 通過(guò)卷積層提取了滑動(dòng)窗口下的上下文信息，又通過(guò)池化層提取了全局的上下文信息，上下文信息得到較為有效的保留。

缺點(diǎn)：

對(duì)于間隔較遠(yuǎn)的上下文信息，難以有效保留。?舉個(gè)例子，I grew up in France... I speak fluent French，顯然 France 和 French 是具有上下文依賴關(guān)系的，但是由于 CNN-DSSM 滑動(dòng)窗口（卷積核）大小的限制，導(dǎo)致無(wú)法捕獲該上下文信息。

?

4. LSTM-DSSM?

針對(duì) CNN-DSSM 無(wú)法捕獲較遠(yuǎn)距離上下文特征的缺點(diǎn)，有人提出了用LSTM-DSSM[3]（Long-Short-Term Memory）來(lái)解決該問(wèn)題。不過(guò)說(shuō) LSTM 之前，要先介紹它的"爸爸"RNN。

4.1 RNN

RNN（Recurrent Neural Networks）可以被看做是同一神經(jīng)網(wǎng)絡(luò)的多次復(fù)制，每個(gè)神經(jīng)網(wǎng)絡(luò)模塊會(huì)把消息傳遞給下一個(gè)。如果我們將這個(gè)循環(huán)展開(kāi)：

假設(shè)輸入 xi 為一個(gè) Query 中幾個(gè)連續(xù)的詞，hi 為輸出。那么上一個(gè)神經(jīng)元的輸出 h(t-1) 與當(dāng)前細(xì)胞的輸入 Xt 拼接后經(jīng)過(guò) tanh 函數(shù)會(huì)輸出 ht，同時(shí)把 ht 傳遞給下一個(gè)細(xì)胞。

不幸的是，在這個(gè)間隔不斷增大時(shí)，RNN 會(huì)逐漸喪失學(xué)習(xí)到遠(yuǎn)距離信息的能力。因?yàn)?RNN 隨著距離的加長(zhǎng)，會(huì)導(dǎo)致梯度消失。簡(jiǎn)單來(lái)說(shuō)，由于求導(dǎo)的鏈?zhǔn)椒▌t，直接導(dǎo)致梯度被表示為連乘的形式，以至梯度消失（幾個(gè)小于 1 的數(shù)相乘會(huì)逐漸趨向于 0）。

4.2 LSTM

LSTM[4](（Long-Short-Term Memory）是一種 RNN 特殊的類型，可以學(xué)習(xí)長(zhǎng)期依賴信息。我們分別來(lái)介紹它最重要的幾個(gè)模塊：

（0）細(xì)胞狀態(tài)

細(xì)胞狀態(tài)這條線可以理解成是一條信息的傳送帶，只有一些少量的線性交互。在上面流動(dòng)可以保持信息的不變性。

（1）遺忘門

遺忘門[5]由 Gers 提出，它用來(lái)控制細(xì)胞狀態(tài) cell 有哪些信息可以通過(guò)，繼續(xù)往下傳遞。如下圖所示，上一層的輸出 h(t-1) concat 上本層的輸入 xt，經(jīng)過(guò)一個(gè) sigmoid 網(wǎng)絡(luò)（遺忘門）產(chǎn)生一個(gè)從 0 到 1 的數(shù)值 ft，然后與細(xì)胞狀態(tài) C(t-1) 相乘，最終決定有多少細(xì)胞狀態(tài)可以繼續(xù)往后傳遞。

（2）輸入門

輸入門決定要新增什么信息到細(xì)胞狀態(tài)，這里包含兩部分：一個(gè) sigmoid 輸入門和一個(gè) tanh 函數(shù)。sigmoid 決定輸入的信號(hào)控制，tanh 決定輸入什么內(nèi)容。如下圖所示，上一層的輸出 h(t-1) concat 上本層的輸入 xt，經(jīng)過(guò)一個(gè) sigmoid 網(wǎng)絡(luò)（輸入門）產(chǎn)生一個(gè)從 0 到 1 的數(shù)值 it，同樣的信息經(jīng)過(guò) tanh 網(wǎng)絡(luò)做非線性變換得到結(jié)果 Ct，sigmoid 的結(jié)果和 tanh 的結(jié)果相乘，最終決定有哪些信息可以輸入到細(xì)胞狀態(tài)里。

（3）輸出門

輸出門決定從細(xì)胞狀態(tài)要輸出什么信息，這里也包含兩部分：一個(gè) sigmoid 輸出門和一個(gè) tanh 函數(shù)。sigmoid 決定輸出的信號(hào)控制，tanh 決定輸出什么內(nèi)容。如下圖所示，上一層的輸出 h(t-1) concat 上本層的輸入 xt，經(jīng)過(guò)一個(gè) sigmoid 網(wǎng)絡(luò)（輸出門）產(chǎn)生一個(gè)從 0 到 1 的數(shù)值 Ot，細(xì)胞狀態(tài) Ct 經(jīng)過(guò) tanh 網(wǎng)絡(luò)做非線性變換，得到結(jié)果再與 sigmoid 的結(jié)果 Ot 相乘，最終決定有哪些信息可以輸出，輸出的結(jié)果 ht 會(huì)作為這個(gè)細(xì)胞的輸出，也會(huì)作為傳遞個(gè)下一個(gè)細(xì)胞。

4.3?LSTM-DSSM詳解

LSTM-DSSM 其實(shí)用的是 LSTM 的一個(gè)變種——加入了peep hole[6]的 LSTM。如下圖所示：

看起來(lái)有點(diǎn)復(fù)雜，我們換一個(gè)圖，讀者可以看的更清晰：

這里三條黑線就是所謂的 peephole，傳統(tǒng)的 LSTM 中遺忘門、輸入門和輸出門只用了 h(t-1) 和 xt 來(lái)控制門縫的大小，peephole 的意思是說(shuō)不但要考慮 h(t-1) 和 xt，也要考慮 Ct-1 和 Ct，其中遺忘門和輸入門考慮了 Ct-1，而輸出門考慮了 Ct。?總體來(lái)說(shuō)需要考慮的信息更豐富了。

好了，來(lái)看一個(gè) LSTM-DSSM 整體的網(wǎng)絡(luò)結(jié)構(gòu)：

紅色的部分可以清晰的看到殘差傳遞的方向。

?

5. 后記

介紹完了 DSSM 及其幾個(gè)變種，還要給讀者潑點(diǎn)冷水，DSSM 就一定適合所有的業(yè)務(wù)嗎？

這里列出 DSSM 的 2 個(gè)缺點(diǎn)以供參考：

DSSM 是端到端的模型?，雖然省去了人工特征轉(zhuǎn)化、特征工程和特征組合，但端到端的模型有個(gè)問(wèn)題就是效果不可控。對(duì)于一些要保證較高的準(zhǔn)確率的場(chǎng)景，用有監(jiān)督人工標(biāo)注的 Query 分類作為打底，再結(jié)合無(wú)監(jiān)督的 Word2Vec、LDA 等進(jìn)行語(yǔ)義特征的向量化，顯然比較可控（至少 Query 分類的準(zhǔn)確率可以達(dá)到 95% 以上）。

DSSM 是弱監(jiān)督模型，因?yàn)橐娴狞c(diǎn)擊曝光日志里 Query 和 Title 的語(yǔ)義信息比較弱。舉個(gè)例子，搜索引擎第一頁(yè)的信息往往都是 Query 的包含匹配，筆者統(tǒng)計(jì)過(guò)，完全的語(yǔ)義匹配只有不到 2%。這就意味著幾乎所有的標(biāo)題里都包含用戶 Query 里的關(guān)鍵詞，而僅用點(diǎn)擊和曝光就能作為正負(fù)樣例的判斷？顯然不太靠譜，因?yàn)榇蟛糠值挠脩暨M(jìn)行點(diǎn)擊時(shí)越靠前的點(diǎn)擊的概率越大，而引擎的排序又是由? pCTR、CVR、CPC 等多種因素決定的。從這種非常弱的信號(hào)里提取出語(yǔ)義的相似性或者差別，那就需要有海量的訓(xùn)練樣本。DSSM 論文中提到，實(shí)驗(yàn)的訓(xùn)練樣本超過(guò) 1 億。筆者和同事也親測(cè)過(guò)，用傳統(tǒng) CTR 預(yù)估模型千萬(wàn)級(jí)的樣本量來(lái)訓(xùn)練，模型無(wú)法收斂。可是這樣海量的訓(xùn)練樣本，恐怕只有搜索引擎才有吧？普通的搜索業(yè)務(wù) Query 有上千萬(wàn)，可資源頂多只有幾百萬(wàn)，像論文中說(shuō)需要挑出點(diǎn)擊和曝光置信度比較高且資源熱度也比較高的作為訓(xùn)練樣本，這樣就過(guò)濾了 80% 的長(zhǎng)尾 Query 和 Title 結(jié)果對(duì)，所以也只有搜索引擎才有這樣的訓(xùn)練語(yǔ)料了吧。另一方面，超過(guò) 1 億的訓(xùn)練樣本作為輸入，用深度學(xué)習(xí)模型做訓(xùn)練，需要大型的 GPU 集群，這個(gè)對(duì)于很多業(yè)務(wù)來(lái)說(shuō)也是不具備的條件。

可

能

喜

歡

• 跨平臺(tái)NLP/ML文章索引
  

• 篇章標(biāo)簽生成

• 倒排索引

• 編程語(yǔ)言的選擇

• 全體學(xué)生考上目標(biāo)學(xué)校的故事? ??

求關(guān)注 求投喂 拉你進(jìn)高端群哦~

參考文獻(xiàn)

[1]. Huang P S, He X, Gao J, et al. Learning deep structured semantic models for web search using clickthrough data[C]// ACM International Conference on Conference on Information & Knowledge Management. ACM, 2013:2333-2338.

[2]. Shen, Yelong, et al. "A latent semantic model with convolutional-pooling structure for information retrieval." Proceedings of the 23rd ACM International Conference on Conference on Information and Knowledge Management. ACM, 2014.

[3]. Palangi, Hamid, et al. "Semantic modelling with long-short-term memory for information retrieval." arXiv preprint arXiv:1412.6629 2014.

[4]. Hochreiter, Sepp and Schmidhuber, J¨urgen. Long short-term memory. Neural Comput., 9(8):1735–1780, November 1997.

[5]. Gers, Felix A., Schmidhuber, Jrgen, and Cummins, Fred. Learning to forget: Continual prediction with lstm. Neural Computation, 12:2451–2471, 1999.

[6]. Gers, Felix A., Schraudolph, Nicol N., and Schmidhuber, J¨urgen. Learning precise timing with lstm recurrent networks. J. Mach. Learn. Res., 3:115–143, March 2003.

總結(jié)

以上是生活随笔為你收集整理的详解深度语义匹配模型DSSM和他的兄弟姐妹的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。