本文轉(zhuǎn)載自公眾號：圖譜學(xué)苑。

---

今天介紹的工作是An Interactive Mechanism to Improve Question Answering Systems via Feedback，作者：張欣勃，鄒磊，胡森，被CIKM2019接收。本文是一篇與知識庫自然語言問答系統(tǒng)（QA）相關(guān)的工作。在本文中，我們設(shè)計(jì)了一種旨在通過用戶對QA系統(tǒng)的反饋，來進(jìn)行提升QA系統(tǒng)的交互式框架（IMPROVE- QA），不僅可以使現(xiàn)有QA系統(tǒng)基于對原始答案的局部反饋獲得更精確的答案，還可以提升已有的解析映射詞典，以確保QA系統(tǒng)具有自動不斷學(xué)習(xí)增強(qiáng)的能力。為了提供更好的交互性和在線性能，我們設(shè)計(jì)了一種整合的啟發(fā)式圖挖掘算法（HWspan）以進(jìn)行查詢圖的自動修正。在Freebase和DBpedia上進(jìn)行的大量實(shí)驗(yàn)，證實(shí)了我們方法的有效性和優(yōu)越性。

?

1研究背景

先介紹一下問題的研究背景和意義。基于知識圖譜的自然語言問答（KBQA，Knowledge-based question answering）系統(tǒng)接收用戶的自然語言問題，通過知識圖譜自動返回給用戶答案，向用戶屏蔽了翻譯、檢索、查詢的復(fù)雜技術(shù)，有效地減輕了用戶的負(fù)擔(dān)。但是，基于知識圖譜的自然語言問答系統(tǒng)存在很多技術(shù)挑戰(zhàn)。第一，由于自然語言本身的歧義性和多樣性，同一個(gè)實(shí)體/關(guān)系可能對應(yīng)不同的自然語言短語，同一個(gè)自然語言短語在不同的語境中可能對應(yīng)到不同的實(shí)體/關(guān)系。第二，由于語言學(xué)本身復(fù)雜的語法特性，如省略，倒裝，從句等，用戶的自然語言可能表達(dá)了豐富的語義，并具有多樣的結(jié)構(gòu)。第三，由于用戶本身不了解背后知識圖譜的語義模式，用戶的自然問題表達(dá)方式和知識圖譜的存儲方式之間存在鴻溝。所以，現(xiàn)有的基于知識圖譜的自然語言問答系統(tǒng)的能力有待提高。在實(shí)際情況中，往往會產(chǎn)生錯(cuò)誤回答。本文關(guān)注單輪問答情景下的基于知識圖譜的事實(shí)類的自然語言問答系統(tǒng)，將常見的錯(cuò)誤概括為以下三類：

1） 實(shí)體錯(cuò)誤（entity/class linking error）

該錯(cuò)誤發(fā)生在從自然語言句子中，識別出了錯(cuò)誤的實(shí)體，或者進(jìn)行了錯(cuò)誤的實(shí)體鏈接。例如問題“怎么得到李白這張卡？”，知識圖譜中可能有名為李白的兩個(gè)實(shí)體，一個(gè)是詩人李白，一個(gè)是王者榮耀游戲中的李白。KBQA系統(tǒng)可能會進(jìn)行錯(cuò)誤的實(shí)體鏈接，而影響到問題的答案。例如問題“華中科技大學(xué)在哪個(gè)城市？”，KBQA系統(tǒng)可能將“華中科技大學(xué)“進(jìn)行了錯(cuò)誤的拆分“華中/科技大學(xué)”，而沒有鏈接到正確的實(shí)體上。

2） 關(guān)系錯(cuò)誤（relation paraphrasing error）

該錯(cuò)誤發(fā)生在關(guān)系抽取階段。通常情況下，關(guān)系抽取會采取遠(yuǎn)監(jiān)督的方法，即給定輸入的一個(gè)三元組<s,p,o>，把句子中主語s和賓語o之間的短語映射到謂詞p上。這種方法經(jīng)常會出現(xiàn)錯(cuò)誤。例如語料庫中常有某人出生和死亡在同一個(gè)地方的記錄，因此關(guān)系釋義詞典中常出現(xiàn)謂詞<birthPlace>和<deathPlace>混淆的情況。

3） 語義結(jié)構(gòu)錯(cuò)誤

該問題常發(fā)生在某一實(shí)體有更高層的類別歸屬或某一實(shí)體有更為具體的細(xì)分類目的情況下，對于這個(gè)關(guān)系的若干種描述都符合待查實(shí)體的屬性，但是難以判斷究竟哪一種是存儲于RDF數(shù)據(jù)集之中的描述。例如“問中國有哪些山”，可以直接指向中國，也可以先指向中國的一個(gè)城市，再指向中國，而已有系統(tǒng)往往出現(xiàn)結(jié)構(gòu)錯(cuò)誤或缺失。

2相關(guān)工作

基于知識圖譜的自然語言問答

基于知識圖譜的自然語言問答主要可以分為兩類。

第一類是基于語義解析的知識圖譜自然語言問答系統(tǒng)。這類系統(tǒng)會將用戶的自然語言問題轉(zhuǎn)化成查詢圖、SPARQL 等可執(zhí)行的形式，更適用于復(fù)雜問題。這類系統(tǒng)往往需要獨(dú)立的串聯(lián)的實(shí)體鏈接、關(guān)系抽取等模塊，常依賴實(shí)體鏈接、關(guān)系釋義等詞典 和模版 。

第二類是基于信息檢索的知識圖譜自然語言問答系統(tǒng) 。這類系統(tǒng)并不顯式地理解用戶的自然語言，會將自然語言問題和候選答案映射到向量空間中，并通過一個(gè)匹配模型，對候選進(jìn)行打分，選出最匹配的答案。

本文關(guān)注第一類，即基于語義解析的RDF自然語言問答系統(tǒng)。

WHY和WHY-NOT

當(dāng)用戶查詢傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，而返回的結(jié)果出乎用戶意料時(shí)，用戶通常需要更改自己的查詢，直至獲得自己想要的結(jié)果。但是通常，用戶沒有這樣的能力調(diào)整自己的查詢，并且想知道為什么某一個(gè)自己期望的特定答案沒有出現(xiàn)在查詢結(jié)果中（WHY-NOT），而為什么一個(gè)自認(rèn)為不該出現(xiàn)的答案出現(xiàn)在了查詢結(jié)果中（WHY）。傳統(tǒng)關(guān)系型數(shù)據(jù)庫查詢中的WHY問題和WHY-NOT問題激發(fā)了廣大研究者的極大興趣并得到了完善的研究，大致包含以下幾類：（1）溯源。針對WHY問題，將數(shù)據(jù)的來源展示給用戶或追蹤其檢索路徑，以向用戶解釋為什么我們的系統(tǒng)會檢索出這樣的結(jié)果。（2）修改數(shù)據(jù)庫。適用于有些時(shí)候，Q/A系統(tǒng)檢索的數(shù)據(jù)集中的數(shù)據(jù)來源可能不可靠，可以試圖通過修改數(shù)據(jù)庫中已有的數(shù)據(jù)，來使得再一次檢索的答案集包含用戶指出的被遺漏的答案。（3）修改查詢。更多時(shí)候，出錯(cuò)的不是數(shù)據(jù)集而是查詢語句本身，因此最佳的方法是修改錯(cuò)誤的查詢語句。本文關(guān)注的就是第三種情況，即自動的查詢修正。

3文章簡介

我們設(shè)計(jì)了一套提升QA系統(tǒng)的交互式框架（IMPROVE- QA），以使現(xiàn)有QA系統(tǒng)基于對原始答案的局部反饋獲得更精確的答案。具體地，當(dāng)用戶不滿意返回的答案Q(D)時(shí)，他/他可以提供有關(guān)Q(D)的反饋，包括刪除一些錯(cuò)誤的答案Q^-(D)，添加缺失的正確答案Q^?(D)，并標(biāo)記一些現(xiàn)有的正確答案Q⁺(D)。請注意，我們的系統(tǒng)不需要用戶提供錯(cuò)誤/遺漏的完整列表或標(biāo)記所有正確答案（實(shí)驗(yàn)結(jié)果顯示2-3個(gè)提示即可）。IMPROVE-QA從原始查詢Q和用戶的反饋中學(xué)習(xí)，生成更精確的查詢Q'作為自然語言N的表達(dá)方式，并返回更精確的答案Q^-(D)。此外，基于從Q到Q'的修正，我們總結(jié)了映射關(guān)系并增強(qiáng)了已有字典以避免此后查詢中類似的錯(cuò)誤，從而可以從根本上改善QA系統(tǒng)并確保賦予其自動連續(xù)學(xué)習(xí)的能力。?

圖1:基于用戶反饋進(jìn)行查詢修正

【示例】考慮一個(gè)由伊麗莎白·泰勒（Elizabeth Taylor）的忠實(shí)粉絲提出的問題N “哪個(gè)女演員在歐洲國家出生？”。圖1顯示了答案集Q(D)，其中包括由RDF QA系統(tǒng)在知識庫D上返回的六個(gè)答案。答案中意外地排除了“伊麗莎白·泰勒”（英國倫敦，1932年）。令她更加困惑的是，“ Marilyn Monroe”（美國洛杉磯，1926年）顯示在答案列表中。QA系統(tǒng)發(fā)生了什么問題？然后，她給出針對Q(D)的反饋。如圖1所示，她添加了一個(gè)遺漏的正確答案Q^?(D)（伊麗莎白·泰勒(Elizabeth Taylor)），劃掉了一個(gè)錯(cuò)誤的答案Q^-(D)（瑪麗蓮·夢露），并標(biāo)記了兩個(gè)存在的正確答案Q⁺(D)（奧黛麗·赫本和瑪麗蓮·迪特里希）。令R = Q^?(D)∪Q⁺(D)表示給出的所有正向的答案。根據(jù)她的反饋，IMPROVE-QA找到了一個(gè)新查詢Q'，其中包含兩個(gè)BGP(basic group pattern)查詢Q'₁和Q'₂，即Q'=Q'_1?UNION?Q'₂，每個(gè)子查詢都可以表示為查詢圖。注意到在這個(gè)情況下，不可能生成單個(gè)BGP查詢在覆蓋R中的所有正確答案的同時(shí)，又排除Q^-(D)中的任何錯(cuò)誤答案。因此，我們允許在修改后的查詢Q'中出現(xiàn)多個(gè)BGP查詢。并且，為了避免過度擬合，我們需要最小化BGP查詢的數(shù)量和從Q到Q'的總編輯距離。則query refinement的問題可以形式化定義為：

在知識庫D上，一個(gè)SPARQL查詢Q得到的答案集為Q(D)，通過用戶反饋，得到的線索答案集中，正確的為R=Q⁺(D)∪Q^Δ(D)，錯(cuò)誤的為Q^-(D)。我們的目標(biāo)是找到一個(gè)新的SPARQL查詢Q'=Q'₁∪?Q'₂∪…∪ Q'_s，s≥1，使得，

1）Q'(D)能覆蓋到R中的全部答案，且排除掉Q^-(D)中的全部答案

2）Q和Q'間的編輯距離最小

另一方面，在Q中原頂點(diǎn)v₄的標(biāo)簽L_{v_4}?=<Country>在Q'₁和Q'₂中被重新標(biāo)記為L_{u_4}?=<EuropeanCountry>。實(shí)際上，這是Q中的實(shí)體/類別鏈接錯(cuò)誤。在原始查詢中，自然語言問題N中的“countries in Europe”與<Country>鏈接，但正確的應(yīng)該是<EuropeanCountry>。我們將“countries in Europe”→ <EuropeanCountry>的映射記錄到實(shí)體/類別鏈接詞典（entity / class-linking dictionary）中，以修正后續(xù)的查詢。同樣地，原查詢Q中的邊上的標(biāo)簽=

<deathplace>在Q'₁和Q'₂被重新標(biāo)記為=<birthplace>。這是一個(gè)關(guān)系釋義錯(cuò)誤，它將短語“be born in”映射為<deathplace>。基于此，我們可以更正關(guān)系釋義詞典（relation-paraphrasing dictionary）。以及，Q中的邊在Q'₁中被擴(kuò)展成一個(gè)長度為2的路徑意味著我們可以在句法結(jié)構(gòu)詞典（sentence structure dictionary）中添加一個(gè)模板模式“?who verb place?”→“?who verb ?place1. ?place1 verb1 ?place2?”，該詞典也可以提升QA系統(tǒng)的準(zhǔn)確性。我們在從Q到Q'的修改中總結(jié)如上述的模式，從而修正上述的三個(gè)詞典，這些詞典的修正可以用于避免今后查詢中類似的問題，如下所示。

盡管查詢優(yōu)化過程似乎類似于通過示例答案以查詢數(shù)據(jù)庫（Query By Examples，QBE） ，但是IMPROVE-QA和QBE基于完全不同的假設(shè)和意圖。QBE為用戶查詢或探索知識庫提供了方便的接口，而IMPROVE-QA旨在幫助KBQA系統(tǒng)更好地理解自然語言問題并返回更精確的答案。對于QBE問題，示例答案是唯一的輸入，而IMPROVE-QA不僅考慮用戶給出的種子答案（包括正向和負(fù)向），還考慮原始的翻譯查詢Q。這是因?yàn)閺膯栴}N到查詢圖Q的許多翻譯錯(cuò)誤都反映在Q的某些部分中，例如實(shí)體/類別鏈接（節(jié)點(diǎn)錯(cuò)誤），關(guān)系釋義錯(cuò)誤（邊標(biāo)簽錯(cuò)誤）和句子結(jié)構(gòu)（結(jié)構(gòu)錯(cuò)誤）。我們希望利用現(xiàn)有查詢Q并根據(jù)用戶的反饋以優(yōu)化Q。

IMPROVE-QA系統(tǒng)包含三個(gè)組件：

（1）反饋收集：用戶對Q(D)進(jìn)行評價(jià)，于是我們得到一個(gè)新的答案集合R⁺，其中R⁺包括用戶認(rèn)可的正確答案集Q⁺(D)，以及用戶指出的丟失答案集Q^?(D)，并將用戶指出的錯(cuò)誤答案集Q^-(D)排除在外，即R⁺= Q⁺(D)∪ Q^?(D), Q^-(D)∩R⁺= ?。

（2）查詢優(yōu)化：這是本文章的核心組件成分。目的是找到Q'={Q'₁,Q'₂,…,Q'_s}，使得Q'(D)能覆蓋用戶給出的R⁺中的所有答案，而將Q^-?(D)排除在外。并且，為了避免過擬合，使Q'到Q的距離盡可能小。

（3）字典修改：這個(gè)模塊用于從每次查詢的優(yōu)化過程中學(xué)習(xí)，以應(yīng)用到今后的查詢。基于某次的修改，我們從修改過程中抽取以更新實(shí)體鏈接詞典、謂詞映射詞典和結(jié)構(gòu)模板。

上述過程可以迭代進(jìn)行。

本文中，我們重點(diǎn)關(guān)注于模塊2，即查詢優(yōu)化部分。為此我們提出了兩種算法，分別是生成篩選兩階段法和啟發(fā)式帶權(quán)子圖模式挖掘法。

(一）生成篩選兩階段法

我們設(shè)計(jì)了一種兩階段法：模式生成，模式篩選。在模式生成階段，我們首先挖掘出正確線索答案集R⁺中的所有頻繁模式。我們只保留帶有變量?x的頻繁模式。所有可以覆蓋到至少一個(gè)正確答案，排除任何錯(cuò)誤答案的模式是符合條件的模式，將這些模式選中進(jìn)入到模式篩選階段。注意到，為了減小頻繁模式挖掘的候選規(guī)模，我們設(shè)計(jì)了如上圖所示的壓縮算法，將節(jié)點(diǎn)v周圍的鄰居子圖壓縮成Primary Neighborhood Graph。在模式篩選階段，我們從中挑選出能覆蓋到所有正確答案集，且距Q的總圖編輯距離最小的模式，作為修改后的Q'={Q'₁,Q'₂,…,Q'_s}。在該階段，我們采取一種帶權(quán)重的貪心策略，候選查詢圖與原始的查詢圖的編輯距離Q與候選查詢圖可匹配的正確答案個(gè)數(shù)決定了每個(gè)候選圖的權(quán)重，每次貪婪地選擇最好的候選圖，直到所有的正確線索答案都被匹配到。權(quán)重的定義為單位權(quán)重覆蓋（wc，weighted cover）如下公式。

但是上述方案有著如下三個(gè)缺點(diǎn)。第一，在線處理時(shí)間比較久。生成篩選兩階段法需要先在生成階段挖出所有的候選頻繁模式，然后在篩選階段進(jìn)行挑選形成最后的集合，大大浪費(fèi)了時(shí)間。第二，搜索空間冗余。傳統(tǒng)的頻繁模式挖掘算法采取DFS或BFS的搜索順序，而并不適合我們的問題情景。我們希望最具希望被篩出的模式（具有最小單位權(quán)重覆蓋）能被盡早篩出，而一旦已篩出的模式能匹配全部正確線索集，搜索就停止。第三，不確定的閾值。傳統(tǒng)的模式挖掘算法需要我們指定置信度的值，而這個(gè)閾值并不是可以提前預(yù)知的，一個(gè)小的閾值會帶來更大的搜索空間和更長的在線時(shí)長，一個(gè)大的閾值可能會造成候選答案的匹配缺失。綜上，我們進(jìn)一步設(shè)計(jì)了一個(gè)啟發(fā)式的帶權(quán)子圖模式挖掘算法HWspan，將模式生成和模式篩選整合在一起。

（二）啟發(fā)式帶權(quán)子圖模式挖掘法

HWspan的思想是，我們每次都挑選最有“潛力”的模式去匹配正確線索答案集合。我們知道，任何一個(gè)模式P（子模式）都可以通過其父模式擴(kuò)展產(chǎn)生。我們不采取傳統(tǒng)的BFS或者DFS方式來挖掘，而是按單位權(quán)重覆蓋由低到高賦予候選模式優(yōu)先級。

為此，我們設(shè)計(jì)一個(gè)單位權(quán)重覆蓋的下界來預(yù)測模式和其子模式的單位權(quán)重覆蓋。下界越低，優(yōu)先級越高。特別地，隨著模式的擴(kuò)展，下界在單調(diào)增加，這意味著如果某時(shí)模式P并不好到被挑選出來，那也就不必要擴(kuò)展出其子模式。因此，我們設(shè)計(jì)了一種啟發(fā)式的搜索策略，以避免搜索到不必要的空間，也避免了閾值的設(shè)定。下界的定義如下公式所示。

其中，SGED(P_i,Q)定義為從圖P_i到圖Q的子圖的最小編輯距離，易知SGED(P_i,Q)≤D(P,Q),其中D(P,Q)表示P和Q之間的最小圖編輯距離。我們證明了如下定理。

引理：給定兩個(gè)圖模式P,P’,和一個(gè)查詢圖Q，其中P是P’的子模式，則有：

定理：給定兩個(gè)圖模式P,P’, 其中P是P’的子模式，則有：

于是就有了如下的剪枝策略：在某一時(shí)刻，若P₁和P₂都是面臨被篩選的圖模式，若wc(P₂)<lb(P₁)，則此時(shí)不需要計(jì)算P₁和其子模式的單位權(quán)重覆蓋，也就意味著在此時(shí)不需要對P₁進(jìn)行擴(kuò)展。

?

為了找到具有最小的單位權(quán)重覆蓋的模式，我們設(shè)計(jì)一種貪心的搜索策略。在該方法中，我們維持三個(gè)優(yōu)先隊(duì)列：可挖掘隊(duì)列、待篩選隊(duì)列、已篩選隊(duì)列。其中，可挖掘隊(duì)列存儲所有已經(jīng)被挖掘的圖模式，并按單位權(quán)重覆蓋的下界值進(jìn)行遞增排序。初始時(shí)，所有的單邊作為起始模式加入可挖掘隊(duì)列中。在每一步，我們總是將可挖掘隊(duì)列中的頭模式P'彈出，將其擴(kuò)展為P'的子模式，并把它們加入可挖掘模式中。同時(shí)，如果P'是一個(gè)符合條件的模式（可以覆蓋到至少一個(gè)正確答案，排除任何錯(cuò)誤答案），我們把P'加入待篩選隊(duì)列中。待篩選隊(duì)列是時(shí)刻按單位權(quán)重覆蓋遞增維持的。假設(shè)P₁和P₂分別是可挖掘隊(duì)列、待篩選隊(duì)列的頭模式，某一時(shí)刻，P₁的單位權(quán)重覆蓋的下界值大于P₂的單位權(quán)重覆蓋，這就意味著可挖掘隊(duì)列、待篩選隊(duì)列中的所有模式的單位權(quán)重覆蓋都比P₂大。根據(jù)單調(diào)性（定理），所有未探索到的子圖的單位權(quán)重覆蓋都不可能低于P2的單位權(quán)重覆蓋。換句話說，在這一時(shí)刻，P₂擁有最小的單位權(quán)重覆蓋。因此，我們將P₂從待篩選隊(duì)列中彈出，加入已篩選隊(duì)列。已篩選隊(duì)列中存儲所有我們選出的查詢以組成修正查詢集合的Q'。P₂被選中后，我們更新所有的待匹配的正確答案集R'（初始時(shí)R'=R⁺）。注意R'的更新會引發(fā)可挖掘隊(duì)列、待篩選隊(duì)列的更新。最后，當(dāng)待匹配的正確答案集R'為空，已篩選隊(duì)列中的集合即為所求Q'={Q'₁,Q'₂,…,Q'_S}。

實(shí)驗(yàn)在Freebase和DBpedia上進(jìn)行，并各自選取了基準(zhǔn)數(shù)據(jù)集：WebQuestionsSP和QALD-6。我們挑選了一個(gè)基于Freebase的QA系統(tǒng)Aqqu和一個(gè)基于DBpedia的QA系統(tǒng)gAnswer。實(shí)驗(yàn)設(shè)計(jì)分為兩種，第一種是將IMPROVE-QA視為接在QA系統(tǒng)后的一個(gè)模塊，直接根據(jù)用戶的反饋來修改查詢和展示給用戶的答案。第二種是將IMPROVE-QA與基本的QA整合，通過在訓(xùn)練數(shù)據(jù)集上獲取用戶的反饋來修正實(shí)體鏈接詞典、謂詞映射詞典和結(jié)構(gòu)模板，從而賦予QA系統(tǒng)不斷增強(qiáng)的能力。在兩個(gè)系統(tǒng)上的兩類實(shí)驗(yàn)結(jié)果如下。

?

實(shí)驗(yàn)表明，只需要2-3個(gè)反饋線索，IMPROVE-QA就能獲得近乎完美的效果。

更多關(guān)于IMPROVE-QA的介紹和實(shí)驗(yàn)結(jié)果，請參照我們的CIKM2019的文章。

參考文獻(xiàn)

[i]?Zou, Lei, et al. "Natural language question answering over RDF: a graph data driven approach."?Proceedings of the 2014 ACM SIGMOD international conference on Management of data. ACM, 2014.

[ii]?Abujabal, Abdalghani, et al. "Automated template generation for question answering over knowledge graphs."?Proceedings of the 26th international conference on world wide web. International World Wide Web Conferences Steering Committee, 2017.

[iii]?Bordes, Antoine, Sumit Chopra, and Jason Weston. "Question answering with subgraph embeddings."?arXiv preprint arXiv:1406.3676?(2014).

[iv]?Marcelo Arenas, Gonzalo I. Diaz, and Egor V. Kostylev. 2016. Reverse Engineering SPARQL Queries. In WWW. 239–249.

---

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進(jìn)中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 基于用户反馈的交互式自然语言回答系统提升机制的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。