論文筆記整理：吳涵，天津大學碩士，研究方向：自然語言處理。

---

鏈接：

Paper: https://arxiv.org/pdf/1907.07328v1.pdf

Code: https://github.com/wudapeng268/KBQA-Adapter

?

引入

在關系檢測任務中，對于訓練數據中已出現的關系，往往可以得到很好的準確度。但是對于未出現的關系，檢測性能將會大幅衰減。主要原因是我們沒有去表示這些未出現的關系。

?

文章摘要

???關系檢測是包括知識庫問答在內的許多自然語言過程應用的核心步驟。目前能得到較高的準確度，是因為關系已在訓練數據中。當應對未出現過的關系時，性能將迅速下降。造成這一問題的主要原因是未出現關系的表示形式缺失。為此，本文提出了一種簡單的映射方法——表示適配器(representation adapter)，該方法基于先前學習的關系嵌入來學習已出現和未出現關系的表示映射。利用對偶目標和重構目標來提高映射性能。重新組織了 SimpleQuestion 數據集來揭示和評估未出現關系的檢測問題。實驗表明，本文方法要優于當前的一些方法。

?

本文主要看點

1、不從訓練數據中學習該關系表示，而是使用方法來從整個知識圖譜中學習具有更廣泛覆蓋范圍的表示。

2、提出了一種映射機制，稱為表示適配器，或者簡稱為適配器，用以將學習到的表示合并到關系檢測模型中。從適配器非平凡訓練的簡單均方誤差損失入手，提出將對抗性和重構目標結合起來，以改進訓練過程。

3、將SimpleQuestion數據集重新組織為SimpleQuestion-Balance，以分別評估已出現和未出現關系的性能。

4、實驗表明，該論文提出的方法在檢測未出現關系方面取得了很大的進步。

?

Representation Adapter 介紹

Representation Adapter 架構圖如下：????

其中，左邊是基本適配器;中間是對抗性適配器;右邊是帶重構損耗的適配器。

?

應用

????將適配器集成到最先進的關系檢測框架中(Yu et al.，2017, hierarchy Residual BiLSTM (HR-BiLSTM))。

????該框架使用問題網絡將問題句編碼為矢量 qf，使用關系網絡將關系編碼為矢量rf。這兩個網絡都是基于Bi-LSTM和最大池化操作。然后引入余弦相似度來計算qf與rf之間的距離，從而確定檢測結果。論文提出的適配器是關系網絡中用來增強該框架的一個附加模塊，如下圖所示：????

與以往的方法不同，該論文在關系表示中使用了所提出的適配器G(·)來解決未出現關系檢測的問題。共享的Bi-LSTM用相同的顏色標記。適配器映射依賴于特定任務的關系，而特定任務又依賴于相應的網絡。

線性映射：表示相似語言的表示空間可以通過線性映射傳遞。

?

訓練

適配器 G(·) 在 GaN 中充當生成器。對于從訓練集取樣的任何關系，鑒別器的損耗loss_D和生成器損耗loss_G的目標函數是：

這里對于D(·)，使用了一個前饋神經網絡，沒有最后一層的Sigmoid函數。

通常，適配器只能通過已出現關系的表示來學習映射，而忽略了潛在的大量未出現的關系。在這里，該論文使用額外的重構損失來增強適配器。更具體地說，采用了反向適配器 G’(·)，將 G(e) 映射回e。

引入反向訓練的好處是雙重的。一方面，反向適配器可以通過所有的關系表示進行訓練，無論是已出現的還是未出現的。另一方面，反向映射也可能成為規范正向映射的額外約束。

對于反向適配器G’(·)，只使用類似于G(·)的線性映射函數，并使用均方誤差損失來訓練它：

關系檢測模型由hinge損失訓練，該方法試圖將每一個負樣本關系與正樣本關系的分數使用差值分隔開：

其中γ是試圖將每一個負關系從正關系中分離出來的范圍，rf⁺是標注訓練數據的正關系，rf^-是從其余關系中抽取的負關系，s(·，·)是qf與rf之間的余弦距離。

數據集

SimpleQuestion是一個大規模的KBQA數據集。在SQ中的每個樣本包括一個人工注釋的問題和相應的知識三元組。但是，測試集中的關系是不平衡的，測試集中的大部分關系都在訓練數據中得到了體現。為了更好地評估未出現關系的檢測性能，該論文重新組織了SQ數據集，以平衡開發和測試集中已出現和未出現的關系的數量，新的數據集表示為SimpleQuestion-Balance(SQB)。

?

實驗結果

1、關系檢測在SQB數據集上的微觀平均精度和宏觀平均精度。???

2、采用不同的關系檢測模型對整個KBQA系統的微觀平均精度進行了測試。????

3、在測試未出現關系的集合中，計算了該預測率的宏觀平均精度。

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | 知识库问答中关系检测的学习表示映射的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。