論文筆記整理：劉曉臻，東南大學計算機科學與工程學院本科生。

Citation: H.Zafar, G. Napolitano, and J. Lehmann. Formal query generation for question

answering overknowledge bases. ESWC, 2018.

https://link.springer.com/content/pdf/10.1007%2F978-3-319-93417-4_46.pdf

動機

QA 任務通常被劃分為命名實體消歧（Named EntityDisambiguation, NED），關系提取（Relation Extraction, RE），以及查詢生成（Query Generation,QG）幾個子任務。但這種劃分很少能夠真正實現QA系統構造的模塊化，這導致研究人員群體無法成功有效地將自己的研究建立在本領域之前的成果上。雖然的確有諸如OKBQA的模塊化框架的存在，但OKBQA對查詢生成關注的太少，其24個可重復利用的QA組件中只有一個是查詢生成器。而且，不斷增加的問題復雜程度給查詢生成任務帶來了幾個難點：

處理大規模的知識庫；

識別問題類型，諸如布爾型；

處理有噪聲的標注；

對一些需要特殊查詢特性的復雜問題的支持，諸如聚集、排序和比較等；

輸入問題存在句法上的不明確性，如語序可以顛倒等。

因此，針對以上的問題及難點，本文提出了SPARQL查詢生成器（SPARQL QueryGenerator, SQG），一個能夠超越現有最高水平的，用于QA任務工作流的模塊化查詢構造器。SQG使用基于樹形LSTM（Tree-LSTM）相似度的候選查詢排名機制，能夠處理含噪聲的輸入，且在基于DBpedia的大型Q/A數據集上經過評估。

貢獻

文章的貢獻有：

（1）給出了KBQA任務中QG任務的模塊化、與其他子任務分開的正式定義。

（2）指出了影響QG任務性能的因素，并針對這些現有難點，提出了SQG這一模塊化的、性能優良的查詢生成器，并引入排名機制增強答案的準確度。

方法

（1）任務定義及理論基礎

定義查詢生成如下：給出問題字符串s和一個知識圖譜K =（E,R,T），其中E為實體集合，R為關系標簽集合，為有序三元組集合。在QA工作流的之前階段已執行實體和關系的鏈接，即已給出一個從s的子串（話語串）到知識圖譜中的E和R各自映射的集合M。查詢生成這一任務即用 s, D 和 M 來生成一個 SPARQL 查詢。（文中并未對D做出明確解釋）由于NED和RE模塊會為問題中的每一個話語串列出一些候選注釋，因此這一注釋任務在此就不那么重要。基于查詢生成的定義，可以定義高級查詢生成任務：條件是每一個子串 s 都已映射到E和R各自的一個非空子集上，即實體和關系都有一些候選注釋。例如，如圖 1 所示，實體“artists”有多個候選注釋，諸如“dbo:Artist”，“dbo:artists”等。本文的實驗表明考慮多個候選注釋而不是只選擇得分最高的注釋會提升表現。

?

圖1 一個經過NED和RE組件輸出注釋后的簡單問題。

對于問句中每個已識別的話語串，根據可行度得分排名

列出一些候選注釋。

?

本文猜想一個問題的形式化理解為知識圖譜中的一個路徑（walk）w，其只含有輸入問題s的目標實體 E 和關系 R，以及答案節點。其中，知識圖譜K =（E,R,T）中的一個路徑定義為一串邊和這些邊連接的節點：W = (e_0-,r--₀,e₁,r₁,e₂,…,e_k-1,r_k-1,e_k)，且對于 0≤i≤k-1，(e_i,r_i,e_i+1)∈T。就一個實體集合E’和關系集合R’ 而言，當且僅當一個路徑W包含 E’ 和 R’ 中的所有元素時，此路徑為有效路徑，即 ?e∈E’ : e∈W 且 ?e∈R’ : e∈W。若一個節點 e∈W，但 e ? E’，此節點即為未連接的，未連接節點用來連接一個路徑中其他的節點。

獲取有效路徑有兩步：第一步，先確定問題的類型（例如為布爾型或計數型），根據類型來從知識圖譜中抽取一些有效路徑，但因為這些路徑可能會無法正確獲取問題背后的意圖，大部分路徑可能都是輸入問題的錯誤映射。這時就需要第二步，根據候選路徑和輸入問題的相似度來對候選路徑排名。SQG的大體框架如下圖2。

?

圖2 SQG的框架

（2）查詢生成

將任務限制在含有所有鏈接實體和關系的子圖中，在其中列舉出候選路徑并直接映射到SPARQL查詢中。另外還需要識別問題類型才能從有效路徑中創建結構正確的候選查詢。

獲取子圖：從一個充滿鏈接實體E作為節點的空子圖開始，增加與在知識圖譜中存在的鏈接關系R相對應的邊，如圖3中實線所示。在這一步中，一個關系可能連接兩個子圖中已有的節點，也可能將一個實體與一個未連接的節點相連。這樣一來這個子圖就可能包含一些有效路徑，但根據問題的意圖，可能需要包含距離實體兩跳（hop）的節點，故這些有效路徑可能都不是正確的。比如在圖3中，由于答案節點“unbound₁”距離實體“dbr:Send_It_On”兩跳，就沒有被包含在當前的子圖（由實線連接）中。為了解決這個問題且避免在底層的知識圖譜中搜索空間過大，本文的做法是用候選關系集合R來擴大子圖中現有的邊并且排除現有邊代表的關系。如圖3所示，虛線代表擴展的邊。獲取子圖的算法如算法1所示。

圖3 為已標注候選實體和關系的所給問題獲取的子圖；

實線表示的是在一跳距離上的子圖；

虛線是在大于一跳距離上的子圖；

圓圈代表未連接節點，方框中是鏈接實體，

邊是知識圖譜中的關系。

算法1 獲取子圖

列出候選路徑：獲取覆蓋了問題中所有實體和關系的子圖之后，視每個未連接節點為潛在的答案節點，由此需要尋找有效路徑，有效路徑的定義上文已給出。例如，圖4中有四個有效路徑。若子圖中只有一個有效路徑，映射該路徑到SPARQL查詢上并將其報告為所給問題對應的查詢；若有不同類型的問題，比如要求計數或者是返回布爾值的問題，可能還需要進一步的擴大；若不只有一個有效路徑，則需要執行如下文所示的排序任務。

?

圖4 找到的四個候選路徑，分別用不同的顏色表示

問題類型分類：SQG支持簡單和復合問題。為了支持諸如布爾型和計數型的問題，首先需要識別問題的類型。本文的做法是訓練一個SVM和樸素貝葉斯模型以根據問題的TF-IDF表示來將其分為布爾型、計數型或是列舉型。給出問題的類型之后，查詢生成器就可以根據類型來格式化查詢。例如，查詢生成器會為一個計數型查詢的SPARQL查詢輸出變量增加相應的函數。

（3）查詢排名

本文猜想路徑的結構是用來區分候選路徑與輸入問題之間相似度的一個重要特性。比如，圖7中，已生成的四個路徑有獨特的結構。因此，排名模型就應該需要包含輸入問題的結構。

本文給出的排名模型基于樹形LSTM（Tree-LSTM），該模型考慮候選路徑關于問題句法結構上的樹形表示，以此來計算相似度。樹形LSTM旨在收納在子節點中的信息，它考慮到子節點的狀態來計算其內在狀態和輸出。這一結構使得樹形LSTM能夠輕松地涵蓋本文中輸入的樹形結構。

圖5 排名模型結構

?

排名模型：圖 5 展示了排名模型的架構，使用兩個樹形LSTM來將輸入的路徑和問題映射到一個潛在向量化的表達中。之后采用一個相似度函數計算相似度并來排名。在處理問題的樹形LSTM準備階段，用一個占位符來代替實體的表面提及(surface mentions)，在這之后創建一個依存分析樹，如圖 6。然后，查詢樹形LSTM接收候選路徑的樹形表示，如圖7，其中只有7a是輸入問題的正確表達。

圖6 問題“What are some artists on the show whose

opening theme is Send It On? ”的依存分析樹

?

圖7 候選路徑的樹形表示及其自然語言意思，其中顏色同圖4。

實驗

（1）實驗相關細節

SQG用Python/Pytorch實現，其中排名模型中，單詞表示采用Glove單詞分詞工具。實驗的數據集為包含5000個問題-答案對的LC-QuAD，不過實驗時用的是其中的3200對。對于排名模型的數據集生成，采用Stanford分析器來產生輸入問題以及（查詢生成步驟中生成的）候選查詢的依存分析樹，并將數據集劃分成70%/20%/10%分別用于訓練/開發/測試。

用精確率、召回率和F1值來衡量SQG的性能，基線系統為Sina、NLIWOD。

除此之外，本文還分別對SQG的子任務，即問題類型分類、查詢生成及排名模型進行了評估。

問題類型分類的評估中，評估結果獨立于實體/關系鏈接模塊，在數據集的50%上執行k-折交叉驗證，以訓練模型并找到最優參數值然后用它評估分類器，分別評估了樸素貝葉斯和SVM的精確率、召回率和F1值。

在查詢生成器的評估中，引入三個評估情形。第一個是Top-1 correct，只給出正確的鏈接實體/關系，以提供模型性能的上界估計。第二個是用于評估SQG健壯性的Top-5 EARL+correct，EARL是一個用于NER和RE任務的工具，此評估情形考慮來自于EARL的每個實體/關系的5個候選（查詢）列表，為了評估SQG獨立于鏈接系統之外的性能，當其不存在于列表中時，插入正確的目標實體／關系。第三個是Top-5 EARL，用EARL的輸出來評估QG組件在一個功能正常的QA系統中的性能。

對于排名模型，本文實驗了兩種計算相似度的函數，分別為余弦相似度和基于神經網絡的函數，不過經測試神經網絡的方法明顯優于余弦相似度，因此結果中只分別評估三種情形下，神經網絡方法計算相似度的結果。

?

（2）實驗結果

如下表1所示，SQG表現明顯優于基線系統。基線系統中有三個缺點，一是必須要接收正確的實體/關系輸入；二是查詢擴大的能力有限；三是缺少排名機制，這些問題在SQG中都得到了解決。

表1 SQG與現有成果的比較

問題類型分類的評估結果如下表2所示，盡管模型簡單，但大量的多樣化訓練數據確保了其優良性能。SQG避免了手寫模式集，因此它在不同環境下的應用性更強。

表2 在LC-QuAD數據集上，問題類型分類器的準確率

?

查詢生成器的評估結果如下表3所示。在Top-1 correct中，由于只有真正的目標實體/關系被給到了查詢生成器中，所以有效路徑數量非常低。在 Top-5 EARL+correct 中，可看出查詢生成器能夠處理有噪聲的輸入，并能夠涵蓋98%的問題，并且平均每個問題生成的查詢增加到了2.25。在Top-5 EARL中，表現顯著下降，因為對于85%的問題，EARL提供的是部分正確而不是完全正確的注釋。如果只考慮EARL能夠容納所有正確目標鏈接的問題，覆蓋率就能夠達到98%。

?

表3 查詢生成器的評估標準

?

排名模型的數據集細節如下表 4。在 Top-1 correct 中，每個問題生成的查詢數量是1.18，因為沒有很多可能的鏈接實體/關系的方式。表中第一行結果中正確/錯誤數據的不均衡導致排名模型接收的是一個不平衡的數據集，因為數據集中的樣本大多是正例。而在Top-5 EARL+correct中，生成的查詢數量增加帶來訓練數據數量和多樣性的增加，此時正確和錯誤數據的分布幾乎是平衡的，這帶來模型性能上的提升。在Top-5 EARL中，盡管生成的查詢的平均數相比前兩種情形更高，但正確和錯誤數據的分布仍不均衡，這是因為72%的情況下沒有路徑被生成，導致生成的查詢總數遠比其他情形少。錯誤如此之高是因為NED和RE組件提供的錯誤注釋。

?

表4 每一個情形中正誤數據的分布

?

排名模型的評估結果如下圖5。在 Top-1 correct 中，盡管數據集分布不均衡，排名模型也能達到74%的F1值，但由于此情形下平均查詢數量只有1.18，故此結果不能準確地反映模型的性能。在Top-5 EARL+correct情形下，F1值增加到84%，表明模型相對于第一種情形，在數據集更大和更均衡的情況下表現更好。在Top-5 EARL中，微F1值下降到74%。這是由于數據集的不平衡和數量小。

表5 使用排名最高的查詢得到的排名模型微準確率

總結

本文探討了QA系統中查詢生成任務的難點，引入了可以輕松集成進QA工作流的模塊化查詢生成器SQG，其先生成候選查詢，再進行排名。實驗表明SQG性能優于現有的查詢生成方法。

?

---

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | 为基于知识库的问答构建形式查询生成的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。