這是何世柱老師團隊發(fā)表于COLING2018的一篇文章。

一. 文章貢獻：

提出進行模式提取和實體鏈接，并提出模式修改程序來緩解錯誤傳播問題

學(xué)習(xí)對候選主謂詞對進行排序以使得能夠在給出問題的情況下進行相關(guān)事實檢索，我們建議通過關(guān)系檢測來增強聯(lián)合事實選擇。利用多級編碼和多維信息（計算語義相似性，問題話語和主語謂語對的多級編碼）來加強整個過程

我們的方法在Simple KB-QA任務(wù)中創(chuàng)造了一項新記錄

二 .數(shù)據(jù)集： Simple Questions

三. 網(wǎng)絡(luò)模型：

1. 模式提取和實體鏈接

要解決的問題：

識別問題中連接到KB中實體的提及范圍 （mention span） ----模式提取

生成問題應(yīng)該引用的KB中的候選實體 (subject entities) ----實體鏈接（通過模式修改得到增強）

方法：

模式提取

• 通常是使用所有N-gram來檢索KB中的候選主題，但由于大量非主題N-gram，導(dǎo)致候選池noise太大。
• 本文將問題表達分為兩部分：涉及跨度以及問題模式（mention span 和 question pattern），其中涉及跨度是以引用KB中實體的比較少用的詞，問題模式包含常用的反映問題表達所指代的關(guān)系的單詞。
• 可以看做一個連續(xù)的標簽任務(wù)，將少見的涉及跨度的連續(xù)詞分為一種，相對常見的問題模式的詞標記為另一種。
• 所以模式提取環(huán)節(jié)的主要任務(wù)是訓(xùn)練模型來預(yù)測文本涉及跨度中指向主題的連續(xù)詞。
• 最終問題被分割為（mention，pattern）對。

模式修正：

上面模式提取中由于順序標記模型的性能，在(mention,pattern)對中存在一些不好的結(jié)果，比如：上面模式提取中由于順序標記模型的性能，在(mention,pattern)對中存在一些不好的結(jié)果，比如：

• 常見的錯誤有mention span標記錯誤
• 更嚴重的錯誤比如mention是問題表達本身，pattern為空。
  
  所以對以上進行模式修正來增加好的pattern。該部分基于數(shù)據(jù)集中常見詞組成的問題模式應(yīng)該多次出現(xiàn)，pattern出現(xiàn)的次數(shù)越多越正確，保留所有提取的次數(shù)大于1的pattern作為pattern base Pn，原始問題作為句子表達baseQn。對于每個句子，重新評估其提取模式來實體找到更合適的模式。

實體鏈接：找到每個問題的mention span（用來鏈接KB中的實體）?；趍ention span，我們用里面的每個單詞來檢索subject entities并選擇得分最高的K個實體（這里通過最長公共子序列？？沒太懂）。

2. 關(guān)系檢測和事實選擇

關(guān)系檢測增強

• 對于一個問題，相關(guān)聯(lián)的實體有很多，為了簡化問題，對關(guān)聯(lián)實體進行排序，找出前K個最接近于gold fact的 candidate實體，訓(xùn)練了一個關(guān)系檢測網(wǎng)絡(luò)將每個問題表達映射為最可能的pridicate。

• predicates用不同粒度來表示，分別是predicate-level和word-level，其中word-level作為predicate-level的補充來減輕數(shù)據(jù)稀疏性，因為好多predicate名稱沒有在訓(xùn)練數(shù)據(jù)集中出現(xiàn)

• 用問題表達作為關(guān)系檢測器的輸入。相似性分數(shù)srel(r, q) 是問題表達的LSTM 編碼和predicate嵌入的cos距離。

• 提取candidate subject的顯著類型作為類型信息，利用word-level LSTM 編碼器來獲取類型信息編碼。然后再綜合考慮predicate和word level類型信息，獲取candidate subject的類型信息。

• 對于關(guān)聯(lián)實體e和對應(yīng)的關(guān)系Re，生成最終的分數(shù)。選擇top-N entities生成事實池。

• 對于事實池中的每個subject entity s，有對應(yīng)的predicate set Ps，問題轉(zhuǎn)化為一個事實選擇問題或者稱為一個匹配問題。給定問題q(mention,pattern),subject entities和predicates,事實選擇模型聯(lián)合找出最匹配問題提的subject和predicate.

主題匹配網(wǎng)絡(luò)：

• 計算問題的mention span和Predicate實體的相關(guān)性。由于單詞嵌入的范圍有限，實體名稱中很多次都是OOV單詞。計算問題的mention span和Predicate實體的相關(guān)性。由于單詞嵌入的范圍有限，實體名稱中很多次都是OOV單詞。
• 因此用character-level的RNN編碼來編碼mention span和candidate subject’s 名字，來減少OOV。

predicate匹配：

• 將從問題表達中提取的模式和相應(yīng)的candidate predicate進行匹配

• 【問題模式編碼】和【predicate編碼】，然后計算相似度

總結(jié)

以上是生活随笔為你收集整理的论文略读 | Pattern-revising Enhanced Simple Question Answering over Knowledge Bases的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。