論文筆記整理：朱珈徵，天津大學(xué)碩士，自然語言處理方向。

---

鏈接：https://arxiv.org/pdf/1912.08441.pdf

動機(jī)

反向詞典將一段描述作為輸入，并一起輸出與該描述匹配的其他詞，具有重要實用價值和自然語言處理研究價值，例如有助于解決舌尖現(xiàn)象。但現(xiàn)有的反向詞典方法不能很好地處理高度多樣化的輸入問題且存在大量低頻詞，因此受人從描述到詞的這一推理過程的啟發(fā)，作者提出了多通道反向詞典模型，可以同時緩解這兩個問題。模型提供了一個句子編碼器和多個預(yù)測器。預(yù)測器將從輸入的描述中識別目標(biāo)詞的不同特征。作者在英漢數(shù)據(jù)集上評估了文中的模型，包括字典的定義和人類的書面描述，表明該模型達(dá)到了目前最先進(jìn)的性能，甚至在人類書面描述數(shù)據(jù)集上超過了最流行的商業(yè)反向字典系統(tǒng)。

亮點

（1）基于人的描述-詞的推斷過程，作者提出了多通道反向詞典模型，包含多個預(yù)測器，每個特征預(yù)測器都被視為搜索目標(biāo)詞的信息通道，且分為兩個類型：內(nèi)部通道和外部通道。內(nèi)部通道與詞本身的特征相對應(yīng)，包括詞性標(biāo)記和語素；外部渠道則反映了與外部知識庫相關(guān)的目標(biāo)詞的特征，如詞類、義原。

（2）作者通過對模型的調(diào)試，解決了一詞多義的詞典任務(wù)以及高頻和低頻單詞很難預(yù)測等難點，在真實場景數(shù)據(jù)集實現(xiàn)了當(dāng)前最佳性能且具有相當(dāng)良好的穩(wěn)定性和魯棒性。

方法及模型

基本框架

該模型的基本框架與句子分類模型基本相似，由一個句子編碼器和幾個預(yù)測器組成，其整體框架如下圖所示。作者選擇雙向LSTM (Bi-LSTM)作為句子編碼器，它將一個輸入的問題編碼為一個向量。在一個句子中，不同的詞對句子的表現(xiàn)有不同的重要性，因此，作者將注意機(jī)制整合到Bi-LSTM中來學(xué)習(xí)更好的句子表示。

形式上，對于輸入的問題 Q={q1,...,q2}, 然后將預(yù)訓(xùn)練好的 q1,...q_|Q| 得詞向量輸入Bi-LSTM，其中d為詞向量的維數(shù)，得到了兩個隱藏方向狀態(tài)的序列：

然后將雙向隱藏狀態(tài)連接，得到無方向隱藏狀態(tài)以及最后無方向性隱藏狀態(tài)加權(quán)和的句子表示。

其中α_i作為注意力的權(quán)重：

接下來將輸入問題的句子向量v映射到詞向量空間中，使用點積計算每個單詞的置信分?jǐn)?shù)：

其中sc_{w,word}表示w的置信分?jǐn)?shù)，W_word 是權(quán)值矩陣，b_word 是偏置向量

預(yù)測器

預(yù)測器主要分為兩個通道，共有四種類型，其中內(nèi)部通道有POS標(biāo)簽預(yù)測器及語素預(yù)測器，外部通道有詞類預(yù)測器及義原預(yù)測器。

?????? 1、內(nèi)部通道: POS標(biāo)簽預(yù)測器

? 字典定義或人寫的對一個詞的描述通常能夠反映該詞相應(yīng)意義的詞性標(biāo)簽。作者認(rèn)為，預(yù)測目標(biāo)詞的詞性標(biāo)簽可以緩解現(xiàn)有逆向詞典模型中返回詞性標(biāo)簽與輸入查詢相矛盾的問題，所以作者將輸入問題v的句子向量傳遞給單層感知機(jī)，并將得到某個詞w對POS標(biāo)簽的預(yù)測得分之和作為該詞在POS標(biāo)簽預(yù)測器上的置信得分：

?? 其中記錄每個POS標(biāo)簽的預(yù)測得分，為權(quán)值矩陣，為偏置向量，返回的POS標(biāo)簽索引。

?????? 2、內(nèi)部通道: 語素預(yù)測器

??? 大多數(shù)單詞是由一個以上語素組成的復(fù)合詞。詞語的語素與詞語的定義或描述之間存在著一種局部語義對應(yīng)關(guān)系。逆向詞典通過輸入問題來預(yù)測目標(biāo)詞的語素，從而獲取目標(biāo)詞的組合信息，并補(bǔ)充了詞向量的上下文信息。作者設(shè)計了一個特殊的語素預(yù)測器，與POS標(biāo)記預(yù)測器不同，它允許每個隱藏狀態(tài)直接參與語素預(yù)測，并進(jìn)行最大池運算獲得最終的語素預(yù)測分?jǐn)?shù)。具體來說，我們將每個無方向性隱藏狀態(tài)輸入到一個單層感知器中，得到局部語素預(yù)測分?jǐn)?shù)，然后對所有局部語素預(yù)測分?jǐn)?shù)進(jìn)行最大池化，得到全局語素預(yù)測分?jǐn)?shù)，最后得出語素預(yù)測器對某個詞w的置信度得分

?????? 3、外部通道: 詞類預(yù)測器

?????? 語義相關(guān)的詞盡管它們有緊密的詞向量，但是通常屬于不同的類別，如“car”和“road”。詞匯類別信息有助于從反向詞典的結(jié)果中剔除語義相關(guān)但不相似的詞。基于此作者設(shè)計了一個層次預(yù)測器來計算詞類的預(yù)測分?jǐn)?shù)

?????? 具體地說，每個詞在詞的層次結(jié)構(gòu)的每一層都屬于一個特定的范疇，所以計算各層的單詞類別預(yù)測得分，則某個詞w在詞類預(yù)測器上的最終置信度得分為其在各層類別預(yù)測得分的加權(quán)和:

?????? 4、外部通道: 義原預(yù)測器

?????? 在語言學(xué)中，義原是自然語言的最小語義單位，知網(wǎng)（HowNet）是目前世界上最著名的義原知識庫。它定義了大約2000個義原，并用它們手工注釋了10萬多個中文和英文單詞，被廣泛應(yīng)用于各種自然語言處理任務(wù)。知網(wǎng)中詞語的義原標(biāo)注既包括義原的層次結(jié)構(gòu)，也包括義原與義原之間的關(guān)系。為簡單起見，我們?yōu)槊總€詞提取一組非結(jié)構(gòu)化義原，在這種情況下，一個詞的義原可以看作是該詞的多個語義標(biāo)簽。

作者發(fā)現(xiàn)，詞匯的義原與詞語的描述也存在著局部語義對應(yīng)關(guān)系。因此，設(shè)計了一種與語素預(yù)測器相似的義原預(yù)測器。用S來表示所有義原的集合，Sw為單詞w的義原集合，將每個隱藏狀態(tài)傳遞給一個單層感知器來計算局部義原預(yù)測分?jǐn)?shù)，通過最大池化得到最終的義原預(yù)測分?jǐn)?shù)，最后從義原預(yù)測器得到單詞w的置信度得分。

多通道反向詞典模型

結(jié)合直接詞預(yù)測中的句子編碼器和間接特征預(yù)測中的預(yù)測器得到的置信度得分，得到多通道反向詞典模型中給定詞w的最終置信度得分:

其中 C = {pos, mor, cat,? sem} 是各個通道的輸出數(shù)據(jù)，λ_word 和 λ_c 為控制相應(yīng)項相對權(quán)重的超參數(shù)。

實驗

作者將本文中的多通道反向詞典模型與其他反向詞典模型的性能和魯棒性進(jìn)行比較，進(jìn)行了詳細(xì)的定量分析和案例研究，來探討影響反求字典任務(wù)的因素，并展示了該模型的優(yōu)點和缺點。實驗中的評價指標(biāo)主要有三個：目標(biāo)詞的中位排名（越低越好）、目標(biāo)詞出現(xiàn)在top 1/10/100的準(zhǔn)確率（越高越好）、目標(biāo)詞排名的標(biāo)準(zhǔn)差（越低越好）。

上表展示了所有模型在三個測試集上的反詞典性能，其中“Mor”、“Cat”和“Sem”分別代表語素、詞類和義原預(yù)測器。從表中可以看出:

1、與除OneLook之外的所有基準(zhǔn)方法相比，文中的多通道模型在無定義數(shù)據(jù)集和描述集上取得了顯著的性能提升，驗證了該模型在推廣到新的輸入問題上的絕對優(yōu)勢。

2、當(dāng)輸入問題是字典定義時，OneLook的性能顯著優(yōu)于我們的模型。這個結(jié)果是預(yù)期的，因為輸入字典定義已經(jīng)存儲在OneLook的數(shù)據(jù)庫中，即使簡單的文本匹配也可以輕松處理這種情況。但是，反向字典的輸入問題實際上不可能是精確的字典定義。在描述集上，多通道模型取得了比單視圖更好的整體性能。

3、MS-LSTM在可見定義集上表現(xiàn)良好，在描述集上表現(xiàn)較差，說明其泛化能力和實用價值有限。

4、通過各預(yù)測器加強(qiáng)的BiLSTM變體(+Mor、+Cat、+Sem)均優(yōu)于BiLSTM。這些結(jié)果證明了在反向詞典任務(wù)中預(yù)測目標(biāo)詞特征的有效性。與單通道模型相比，多通道模型的性能得到了進(jìn)一步的提高，證明了特征融合的有效性，也驗證了多通道模型的有效性。

5、BOW表現(xiàn)優(yōu)于RNN，然而BiLSTM遠(yuǎn)遠(yuǎn)超過BOW和RNN。這驗證了在神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行雙向編碼的必要性，也表明了神經(jīng)網(wǎng)絡(luò)的潛力。

此外作者還對進(jìn)行了魯棒性方面的實驗，上圖為各模型分別對不同義項數(shù)量、詞頻和查詢長度這三個影響因素的實驗。

首先在義項數(shù)方面，所有模型的性能都隨著義項數(shù)的增加而下降，說明一詞多義是反向詞典任務(wù)中的難點。但多通道模型表現(xiàn)出了出色的魯棒性，即使在最具意義的詞語上，其性能也幾乎沒有下降；

其次在詞頻因素上，盡管最頻繁和最不頻繁的單詞都很難預(yù)測，但模型仍有著非凡的穩(wěn)定性；

最后在查詢長度上，當(dāng)輸入只有一個詞時，各個系統(tǒng)的性能都較差，是因為從輸入查詢中提取的信息非常有限，但模型仍在輸入超過兩個詞時的性能較為優(yōu)越。

總結(jié)

在文章中，作者創(chuàng)新地提出了一個多通道反向詞典模型，該模型包含多個預(yù)測器來預(yù)測給定輸入查詢的目標(biāo)詞的特征。實驗結(jié)果和分析表明，文章提出的模型達(dá)到了最先進(jìn)的性能，并具有良好的魯棒性。

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進(jìn)中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點擊閱讀原文，進(jìn)入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 - AAAI2020 | 多通道反向词典模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。