論文筆記整理：朱珈徵，天津大學(xué)碩士，自然語言處理方向。

---

鏈接：https://arxiv.org/pdf/1912.08441.pdf

動(dòng)機(jī)

反向詞典將一段描述作為輸入，并一起輸出與該描述匹配的其他詞，具有重要實(shí)用價(jià)值和自然語言處理研究價(jià)值，例如有助于解決舌尖現(xiàn)象。但現(xiàn)有的反向詞典方法不能很好地處理高度多樣化的輸入問題且存在大量低頻詞，因此受人從描述到詞的這一推理過程的啟發(fā)，作者提出了多通道反向詞典模型，可以同時(shí)緩解這兩個(gè)問題。模型提供了一個(gè)句子編碼器和多個(gè)預(yù)測器。預(yù)測器將從輸入的描述中識別目標(biāo)詞的不同特征。作者在英漢數(shù)據(jù)集上評估了文中的模型，包括字典的定義和人類的書面描述，表明該模型達(dá)到了目前最先進(jìn)的性能，甚至在人類書面描述數(shù)據(jù)集上超過了最流行的商業(yè)反向字典系統(tǒng)。

亮點(diǎn)

（1）基于人的描述-詞的推斷過程，作者提出了多通道反向詞典模型，包含多個(gè)預(yù)測器，每個(gè)特征預(yù)測器都被視為搜索目標(biāo)詞的信息通道，且分為兩個(gè)類型：內(nèi)部通道和外部通道。內(nèi)部通道與詞本身的特征相對應(yīng)，包括詞性標(biāo)記和語素；外部渠道則反映了與外部知識庫相關(guān)的目標(biāo)詞的特征，如詞類、義原。

（2）作者通過對模型的調(diào)試，解決了一詞多義的詞典任務(wù)以及高頻和低頻單詞很難預(yù)測等難點(diǎn)，在真實(shí)場景數(shù)據(jù)集實(shí)現(xiàn)了當(dāng)前最佳性能且具有相當(dāng)良好的穩(wěn)定性和魯棒性。

方法及模型

基本框架

該模型的基本框架與句子分類模型基本相似，由一個(gè)句子編碼器和幾個(gè)預(yù)測器組成，其整體框架如下圖所示。作者選擇雙向LSTM (Bi-LSTM)作為句子編碼器，它將一個(gè)輸入的問題編碼為一個(gè)向量。在一個(gè)句子中，不同的詞對句子的表現(xiàn)有不同的重要性，因此，作者將注意機(jī)制整合到Bi-LSTM中來學(xué)習(xí)更好的句子表示。

形式上，對于輸入的問題 Q={q1,...,q2}, 然后將預(yù)訓(xùn)練好的 q1,...q_|Q| 得詞向量輸入Bi-LSTM，其中d為詞向量的維數(shù)，得到了兩個(gè)隱藏方向狀態(tài)的序列：

然后將雙向隱藏狀態(tài)連接，得到無方向隱藏狀態(tài)以及最后無方向性隱藏狀態(tài)加權(quán)和的句子表示。

其中α_i作為注意力的權(quán)重：

接下來將輸入問題的句子向量v映射到詞向量空間中，使用點(diǎn)積計(jì)算每個(gè)單詞的置信分?jǐn)?shù)：

其中sc_{w,word}表示w的置信分?jǐn)?shù)，W_word 是權(quán)值矩陣，b_word 是偏置向量

預(yù)測器

預(yù)測器主要分為兩個(gè)通道，共有四種類型，其中內(nèi)部通道有POS標(biāo)簽預(yù)測器及語素預(yù)測器，外部通道有詞類預(yù)測器及義原預(yù)測器。

?????? 1、內(nèi)部通道: POS標(biāo)簽預(yù)測器

? 字典定義或人寫的對一個(gè)詞的描述通常能夠反映該詞相應(yīng)意義的詞性標(biāo)簽。作者認(rèn)為，預(yù)測目標(biāo)詞的詞性標(biāo)簽可以緩解現(xiàn)有逆向詞典模型中返回詞性標(biāo)簽與輸入查詢相矛盾的問題，所以作者將輸入問題v的句子向量傳遞給單層感知機(jī)，并將得到某個(gè)詞w對POS標(biāo)簽的預(yù)測得分之和作為該詞在POS標(biāo)簽預(yù)測器上的置信得分：

?? 其中記錄每個(gè)POS標(biāo)簽的預(yù)測得分，為權(quán)值矩陣，為偏置向量，返回的POS標(biāo)簽索引。

?????? 2、內(nèi)部通道: 語素預(yù)測器

??? 大多數(shù)單詞是由一個(gè)以上語素組成的復(fù)合詞。詞語的語素與詞語的定義或描述之間存在著一種局部語義對應(yīng)關(guān)系。逆向詞典通過輸入問題來預(yù)測目標(biāo)詞的語素，從而獲取目標(biāo)詞的組合信息，并補(bǔ)充了詞向量的上下文信息。作者設(shè)計(jì)了一個(gè)特殊的語素預(yù)測器，與POS標(biāo)記預(yù)測器不同，它允許每個(gè)隱藏狀態(tài)直接參與語素預(yù)測，并進(jìn)行最大池運(yùn)算獲得最終的語素預(yù)測分?jǐn)?shù)。具體來說，我們將每個(gè)無方向性隱藏狀態(tài)輸入到一個(gè)單層感知器中，得到局部語素預(yù)測分?jǐn)?shù)，然后對所有局部語素預(yù)測分?jǐn)?shù)進(jìn)行最大池化，得到全局語素預(yù)測分?jǐn)?shù)，最后得出語素預(yù)測器對某個(gè)詞w的置信度得分

?????? 3、外部通道: 詞類預(yù)測器

?????? 語義相關(guān)的詞盡管它們有緊密的詞向量，但是通常屬于不同的類別，如“car”和“road”。詞匯類別信息有助于從反向詞典的結(jié)果中剔除語義相關(guān)但不相似的詞。基于此作者設(shè)計(jì)了一個(gè)層次預(yù)測器來計(jì)算詞類的預(yù)測分?jǐn)?shù)

?????? 具體地說，每個(gè)詞在詞的層次結(jié)構(gòu)的每一層都屬于一個(gè)特定的范疇，所以計(jì)算各層的單詞類別預(yù)測得分，則某個(gè)詞w在詞類預(yù)測器上的最終置信度得分為其在各層類別預(yù)測得分的加權(quán)和:

?????? 4、外部通道: 義原預(yù)測器

?????? 在語言學(xué)中，義原是自然語言的最小語義單位，知網(wǎng)（HowNet）是目前世界上最著名的義原知識庫。它定義了大約2000個(gè)義原，并用它們手工注釋了10萬多個(gè)中文和英文單詞，被廣泛應(yīng)用于各種自然語言處理任務(wù)。知網(wǎng)中詞語的義原標(biāo)注既包括義原的層次結(jié)構(gòu)，也包括義原與義原之間的關(guān)系。為簡單起見，我們?yōu)槊總€(gè)詞提取一組非結(jié)構(gòu)化義原，在這種情況下，一個(gè)詞的義原可以看作是該詞的多個(gè)語義標(biāo)簽。

作者發(fā)現(xiàn)，詞匯的義原與詞語的描述也存在著局部語義對應(yīng)關(guān)系。因此，設(shè)計(jì)了一種與語素預(yù)測器相似的義原預(yù)測器。用S來表示所有義原的集合，Sw為單詞w的義原集合，將每個(gè)隱藏狀態(tài)傳遞給一個(gè)單層感知器來計(jì)算局部義原預(yù)測分?jǐn)?shù)，通過最大池化得到最終的義原預(yù)測分?jǐn)?shù)，最后從義原預(yù)測器得到單詞w的置信度得分。

多通道反向詞典模型

結(jié)合直接詞預(yù)測中的句子編碼器和間接特征預(yù)測中的預(yù)測器得到的置信度得分，得到多通道反向詞典模型中給定詞w的最終置信度得分:

其中 C = {pos, mor, cat,? sem} 是各個(gè)通道的輸出數(shù)據(jù)，λ_word 和 λ_c 為控制相應(yīng)項(xiàng)相對權(quán)重的超參數(shù)。

實(shí)驗(yàn)

作者將本文中的多通道反向詞典模型與其他反向詞典模型的性能和魯棒性進(jìn)行比較，進(jìn)行了詳細(xì)的定量分析和案例研究，來探討影響反求字典任務(wù)的因素，并展示了該模型的優(yōu)點(diǎn)和缺點(diǎn)。實(shí)驗(yàn)中的評價(jià)指標(biāo)主要有三個(gè)：目標(biāo)詞的中位排名（越低越好）、目標(biāo)詞出現(xiàn)在top 1/10/100的準(zhǔn)確率（越高越好）、目標(biāo)詞排名的標(biāo)準(zhǔn)差（越低越好）。

上表展示了所有模型在三個(gè)測試集上的反詞典性能，其中“Mor”、“Cat”和“Sem”分別代表語素、詞類和義原預(yù)測器。從表中可以看出:

1、與除OneLook之外的所有基準(zhǔn)方法相比，文中的多通道模型在無定義數(shù)據(jù)集和描述集上取得了顯著的性能提升，驗(yàn)證了該模型在推廣到新的輸入問題上的絕對優(yōu)勢。

2、當(dāng)輸入問題是字典定義時(shí)，OneLook的性能顯著優(yōu)于我們的模型。這個(gè)結(jié)果是預(yù)期的，因?yàn)檩斎胱值涠x已經(jīng)存儲在OneLook的數(shù)據(jù)庫中，即使簡單的文本匹配也可以輕松處理這種情況。但是，反向字典的輸入問題實(shí)際上不可能是精確的字典定義。在描述集上，多通道模型取得了比單視圖更好的整體性能。

3、MS-LSTM在可見定義集上表現(xiàn)良好，在描述集上表現(xiàn)較差，說明其泛化能力和實(shí)用價(jià)值有限。

4、通過各預(yù)測器加強(qiáng)的BiLSTM變體(+Mor、+Cat、+Sem)均優(yōu)于BiLSTM。這些結(jié)果證明了在反向詞典任務(wù)中預(yù)測目標(biāo)詞特征的有效性。與單通道模型相比，多通道模型的性能得到了進(jìn)一步的提高，證明了特征融合的有效性，也驗(yàn)證了多通道模型的有效性。

5、BOW表現(xiàn)優(yōu)于RNN，然而BiLSTM遠(yuǎn)遠(yuǎn)超過BOW和RNN。這驗(yàn)證了在神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行雙向編碼的必要性，也表明了神經(jīng)網(wǎng)絡(luò)的潛力。

此外作者還對進(jìn)行了魯棒性方面的實(shí)驗(yàn)，上圖為各模型分別對不同義項(xiàng)數(shù)量、詞頻和查詢長度這三個(gè)影響因素的實(shí)驗(yàn)。

首先在義項(xiàng)數(shù)方面，所有模型的性能都隨著義項(xiàng)數(shù)的增加而下降，說明一詞多義是反向詞典任務(wù)中的難點(diǎn)。但多通道模型表現(xiàn)出了出色的魯棒性，即使在最具意義的詞語上，其性能也幾乎沒有下降；

其次在詞頻因素上，盡管最頻繁和最不頻繁的單詞都很難預(yù)測，但模型仍有著非凡的穩(wěn)定性；

最后在查詢長度上，當(dāng)輸入只有一個(gè)詞時(shí)，各個(gè)系統(tǒng)的性能都較差，是因?yàn)閺妮斎氩樵冎刑崛〉男畔⒎浅Ｓ邢?#xff0c;但模型仍在輸入超過兩個(gè)詞時(shí)的性能較為優(yōu)越。

總結(jié)

在文章中，作者創(chuàng)新地提出了一個(gè)多通道反向詞典模型，該模型包含多個(gè)預(yù)測器來預(yù)測給定輸入查詢的目標(biāo)詞的特征。實(shí)驗(yàn)結(jié)果和分析表明，文章提出的模型達(dá)到了最先進(jìn)的性能，并具有良好的魯棒性。

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進(jìn)中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 - AAAI2020 | 多通道反向词典模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。