筆記整理 |?譚亦鳴，東南大學(xué)博士生

---

來源：EMNLP 2020

鏈接：https://www.aclweb.org/anthology/2020.emnlp-main.469.pdf

本文關(guān)注聚合型復(fù)雜知識圖譜問答任務(wù)，這類復(fù)雜問題的答案通常需要經(jīng)過一些集合操作得到，例如：選擇Selecting，計數(shù)Counting，比較Comparing，交并集Interp&Union，Boolean等，一個比較經(jīng)典的問題就是 “有多少條河流同時經(jīng)過中國和印度？”（下表描述了其他一些類型的復(fù)雜問題），該問題答案可以通過”Select(China, flow, river), Interp(India, flow, river), Count”得到。

在當(dāng)前的研究中，復(fù)雜知識圖譜問答任務(wù)存在兩個主要挑戰(zhàn)：

1.不平衡的數(shù)據(jù)分布以及不穩(wěn)定的模型性能：基于現(xiàn)有的CQA數(shù)據(jù)集，作者發(fā)現(xiàn)，不同類別的問題在訓(xùn)練數(shù)據(jù)中的占比極不平衡（例如簡單問題占比約48.9%，而其他類型，諸如比較僅占比4.3%，其他類型的占比論文中也已給出，這里不再贅述。）；另一方面，不同類型的問題難度差異明顯。

2.面向全類別問答的單一模型性能不夠：現(xiàn)有的問答模型難以適用于這類包含固有類型差異的問題。

因此這篇論文的主要貢獻(xiàn)是：

1.作者提出了一個Meta Reinforcement Learning方法，可以自適應(yīng)的對于新問題生成新參數(shù)；

2.建立了一個非監(jiān)督檢索器，用于找到適用的支撐集；

3.在僅使用1%訓(xùn)練樣本的情況下使模型達(dá)到了具有競爭力的結(jié)果

4.在CQA任務(wù)上達(dá)到了當(dāng)前性能最佳(state-of-the-art)

方法

目標(biāo)是構(gòu)建一個端到端模型，將復(fù)雜的自然語言問題轉(zhuǎn)換為一系列的動作。通過執(zhí)行這些動作，知識庫中相關(guān)的三元組被取出并用于獲取問題的答案。為了解決上述挑戰(zhàn)，作者采用了few-shot mate reinforcement learning方法用于減少模型對于數(shù)據(jù)集標(biāo)注的依賴，并提升不同類型問題上的問答準(zhǔn)確性。

圖1是論文方法的主要框架，作者將每個新的訓(xùn)練問題視作偽任務(wù)上的測試樣本，目標(biāo)是學(xué)習(xí)到一個專門處理這個任務(wù)的模型。當(dāng)模型遇到一個問題q_mate，首先使用檢索器從訓(xùn)練集中找到與之最為相似的N個樣本s^qmate,并將該問題視作元學(xué)習(xí)測試數(shù)據(jù)，用于評估模型。因此，mate樣本與問題構(gòu)成了上述偽任務(wù)。

在mate-learning階段，主要包含三個目標(biāo)：

1.找到優(yōu)化初始參數(shù)

2.使初始參數(shù)足夠敏感

3.對每個任務(wù)生成合適的參數(shù)集

作者通過以下方式完成上述目標(biāo)：

1.找到支撐集

2.使用支撐集調(diào)整programmer

3.使用微調(diào)后的programmer作用于測試樣本

4.使用測試樣本的損失更新初始參數(shù)

對應(yīng)的算法如下所示：

訓(xùn)練過程在強(qiáng)化學(xué)習(xí)的設(shè)定下完成，以batch=1為例，每個時間階段t，agent根據(jù)前置的action(t時刻之前)，輸入序列，從策略π產(chǎn)生一個action a_t（這里指詞，或者字符），θ則表示模型的參數(shù)（例如帶有注意力機(jī)制的LSTM模型的參數(shù)）。關(guān)聯(lián)到知識庫上的自然語言問題將會作為LSTM模型編碼器的輸入，一系列action則由解碼器輸出。

每組生成的action序列被作者視為一個軌跡(trajectory)，借由它可以執(zhí)行答案的生成，之后即可得到生成答案與事實答案的相似性（similarity），該相似性被作為強(qiáng)化學(xué)習(xí)框架中的對應(yīng)軌跡的reward R，并反饋給agent。

問題檢索器Retriever

為了從在訓(xùn)練和測試階段從訓(xùn)練數(shù)據(jù)中找到支撐樣本，作者提出了一個非監(jiān)督的相關(guān)性函數(shù)，考慮了以下兩個方面：其一是知識庫相關(guān)元素的數(shù)量（包括實體，關(guān)系和類型）；其二則是問題的語義相似度

前者的計算方式為：

1.問題結(jié)構(gòu)相似計算公式：

，其中q_e代表實體的數(shù)量

2.類型相似

3.以及關(guān)系型數(shù)據(jù)相似性計算

語義相似度上，作者基于Jaccard相似性建立了一個非監(jiān)督的語義相似性公式。

假設(shè)問題q1，q2各包含一個詞集合，對于q1中的每個詞，基于一個給定的余弦相似性閾值，從q2中找到相似性最高的對應(yīng)詞，兩者構(gòu)成詞對集合：

接著從兩個句子中移除具有高相似關(guān)聯(lián)的詞匯，余下部分被稱為remain，代表著兩個問題之間的差異，基于這些remain，可以計算出兩個問題之間差異性：

由此可以給出兩個問題語義相似計算公式為：

通過融合上述兩者，最終得到相似計算公式為：

實驗

本文實驗所使用的數(shù)據(jù)為CQA數(shù)據(jù)集，包含944K/100K/154K的訓(xùn)練集/驗證集/測試集，每個QA對包含一個復(fù)雜自然語言問題以及它的正確答案，但是并沒有給出問題對應(yīng)的標(biāo)準(zhǔn)action序列。考慮到這一點，作者隨機(jī)的篩選了1%的訓(xùn)練集數(shù)據(jù)，使用BFS算法構(gòu)建為其標(biāo)準(zhǔn)了偽標(biāo)準(zhǔn)action序列。在問題的表示學(xué)習(xí)方面，作者使用了帶有注意力機(jī)制的LSTM。

CQA任務(wù)的評價指標(biāo)為F1-值

對比的baseline包括：

1.HRED+Kvmem記憶網(wǎng)絡(luò)

2.NSM

3.CIPITR-All

4.CIPITR-Sep

實驗結(jié)果如下表所示，縱向為各種問題類型，橫向?qū)Ρ攘瞬煌Ｐ偷男阅芩健?/p>

?

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進(jìn)中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 - EMNLP | 通过元强化学习实现少样本复杂知识库问答的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。