文 | 煉丹學徒
編 | 小軼

開始煉丹以來，估計很多小伙伴都和我一樣幻想過直接把數據集做到 100% 準確率，然后大吼一聲：這數據集，我做到頭了！

然而愿望終究是愿望。大多時候，看著自己手頭上用了渾身解數才提了零點幾個點的數據集，只想把它換掉。體諒到我們沒吃過豬肉——最近清華大學李涓子組發表了一篇多跳問答工作TransferNet，怕是可以帶大家看看豬跑了。

把數據集刷穿究竟是一種什么體驗？出于好奇心，煉丹學徒帶大家一起看一看。

論文題目：
TransferNet: An Effective and Transparent Framework for Multi-hop Question Answering over Relation Graph

論文鏈接：
https://arxiv.org/pdf/2104.07302.pdf

Arxiv訪問慢的小伙伴也可以在 【夕小瑤的賣萌屋】訂閱號后臺回復關鍵詞 【0518】 下載論文PDF~

多跳問答

任務定義

簡單來說多跳問答是指：針對一個文本問題，在給定關系圖上通過多個關系邊找到答案的過程。

詳細定義如下：

記關系圖為 ，圖中實體為 ，關系邊為 ；一共有 個實體。 可以表示為 的矩陣。這個矩陣中的 表示頭實體 到尾實體 之間的關系，是標簽格式關系圖里定義的關系標簽，或者文本格式關系圖里檢索出來的句子。多跳問答則是：給定問句，從中的話題實體作為起點，經過某些邊，達到目標答案實體 的過程。

舉例說明

這個例子里，提問“ 比爾蓋茨的夫人創建了哪個組織 ”（醒醒，比爾蓋茨和夫人已經離婚了）。我們首先定位到話題實體“ 比爾蓋茨 ”，然后通過“ 的夫人 ”找到實體“ 梅琳達”，再通過“ 創建 ”關系找到答案“ 比爾及梅琳達·蓋茨基金會 ”。

我們看到：關系圖里左邊的例子是標簽格式的關系圖（也稱作知識圖譜，是人工定義的實體和關系圖），右邊的例子是文本格式的關系圖，可以從文本庫中通過實體名字的共現檢索出來。標簽格式的更準確，標注代價更大，文本格式的則相反。

主流做法

常見的多跳問答有兩個主流做法。

第一種主流做法，是從起始的實體開始預測 關系-實體序列 ，最終得出答案。好處是：從起點實體到目標回答實體的關系路徑是顯式預測出來的，推理過程可解釋。壞處是：我們的監督語料只有答案的目標實體，而從起點實體到目標實體的路徑是沒有的，因此是弱監督問題，搜索空間太大，存在收斂問題，因此雖然預測結果可解釋，但是可能效果不如第二種主流做法。其次，第一種主流做法往往針對標簽格式的關系圖提出，如果給定的知識是檢索出來的文本，很多技術無法使用。

第二種主流做法是把起始實體和附近的關系圖喂給模型，直接使用 圖神經網絡 （GNN, Graph Neural Networks）預測目標實體作為回答。好處是：監督學習的場景，直接讓模型去從附近的關系網絡預測目標答案，效果比較好。目前SOTA的方法就是這么做的。缺點是：如何從起始實體預測到目標實體的推理過程是黑箱，模型可能在小區域的圖關系里進行了復雜的運算。

TransferNet

看完主流做法，我們直覺地想到：

• 能否提出一個多跳問答的解法，既可以像第一種做法中預測出來關系路徑一樣可解釋，又像圖神經網絡一樣得到不錯的結果。

• 如果可以同時解決標簽格式，又可以解決文本格式的關系圖問答，就更好了！

TransferNet就針對這兩個痛點設計了模型：

思路

對于 個實體 ， 的關系 的圖 ，問題 ，首先把起始話題實體的分數置為1，其他實體分數置為0，將此分數記為 。在每一跳后都預測當前關系得分，根據關系的預測概率，更新當前第t跳結束后的實體得分，直到最大跳數。預測該問題的跳數，按跳數的概率加權每一跳 得分作為實體的最終得分。

• 首先把起始話題實體的分數置為1，其他實體分數置為0，將此分數記為

• 每一跳后都給當前關系打分。根據關系得分，更新當前第t跳結束后的實體得分，直到最大跳數。

• 預測該問題的跳數，并按跳數的概率加權每一跳 得分作為目標實體的最終得分。

流程

下述所有都是可訓的參數

0）初始化：每個實體的分數，初始t=0，只有問題q中的主體實體分數為1，其他實體都為0。并將問題先過一遍編碼器獲得一個初始問題編碼 和單詞隱狀態序列

1）問題編碼：用 和 獲得每一跳時的 ，真正后面用的時候用的每一跳時候的問題編碼是這個。

可以簡單的理解為，第t跳時，用對應的特定函數去計算對的注意力，然后把加權過來代表此跳的問題編碼。

3）關系得分：使用當前跳問題的編碼 計算關系得分 。對于標簽關系圖和文本關系圖，計算的方法是不一樣的。這一步中，其實就是用 去計算每個關系的分數，然后匯總到 所有實體的關系矩陣中：

4）實體得分：通過3）中計算得到的實體-實體的關系得分，上一條的每個實體分數，計算此跳結束后每個實體的分數。重復上述步驟，直到超參最大跳數。

5）總路徑得分：在4）中，我們得到了每一跳后的實體分數。然后我們預測一下這個問題q是一個幾跳的問題。此處跳數的預測也是概率加權使用的。

此處，即為問題跳數的概率分布。最終，里分數最高的實體作為答案進行輸出。

細節

• 在流程4）中，由 和 計算 時，分數可能會超過 1，這會導致梯度爆炸和 錯誤的優化方向。為了保證 中所有實體的分數都可以保持在 ，TransferNet 采用截斷函數 Trunc 施加在每次 的計算之后。

• 在流程3）中，需要由問題編碼 計算關系分數矩陣 。對于標簽格式的關系圖，因為關系 是固定的，所以可以直接計算每種關系的分數 ，如果關系之間不是互斥的，則可以把 替換為 。則實體關系分數矩陣中實體 和 之間的關系分數由連接他倆之間的所有關系分數求和或者求極大值得到。對于文本格式的關系圖，假設實體 和 有 個句子 r，則關系分數矩陣 的計算與標簽格式的類似，為：

此處，為元素對應位置的點乘。

• 文本類型的關系圖中，可能文本的描述在處理成關系后存在偏差。比如，Harry Potter， <sub> was published in <obj>，XXX文本關系，如果XXX是United Kingdom，那么<sub> was published in <obj>表達的意思是在何處發表；如果XXX是1997，那么<sub> was published in <obj>描述的是在何時發表的關系。為了區分這種相同文本，不同含義的情況，TransferNet提出額外的語言遮蓋預測。所提出的遮蓋預測分數如下：

是所提出的遮蓋預測分數。在流程5）中，把文本類型的預測結果修改為 。 為元素對應位置的點乘。

實驗

數據集

• MetaQA:將wiki-movies的單跳問答拓展到多跳問答的數據集，包含400k問題，最多三跳，包含43k實體，9種關系，135k三元組數據圖。TransferNet也使用了基于WikiMoviews的文本關系圖問答數據集。

• WebQSP:基于Freebase，包含一跳和兩跳問答，使用標簽格式的關系圖，1.8m實體，572關系類型，5.7萬條關系三元組。

• CompWebQ：WebQSP的延伸版本。

標簽類型關系圖結果

我們期待的刷穿數據集就出現在上表的TransferNet結果MetaQA多跳問答。

文本類型關系圖結果

上表中，左側是純文本格式，右側是在純文本數據基礎上，隨機選取50%的標簽類型數據添加進關系圖。所提升的效果，是因為文本數據集中，存在關系的部分缺失。

可解釋性

因為在每一跳的更新里，對目標實體進行0~1的評分，因此分數越高，我們越確定這一跳的實體確信度。其次，每一跳的更新也是通過關系矩陣進行的，其關系路徑是可解釋的。

總結

本篇論文我們一起看了多跳問答的新工作TransferNet。論文思路清楚，效果提升明顯。此外，我們跟TransferNet一起體驗了一把數據集刷穿的感覺~

希望小伙伴們可以向TransferNet學習，一起刷穿數據集。

尋求報道、約稿、文案投放：
添加微信xixiaoyao-1，備注“商務合作”

后臺回復關鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺回復關鍵詞【頂會】

獲取ACL、CIKM等各大頂會論文集！

總結

以上是生活随笔為你收集整理的把数据集刷穿是什么体验？MetaQA已100%准确率的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。