筆記整理：譚亦鳴, 東南大學(xué)博士生

來源：NAACL'21

鏈接：https://aclanthology.org/2021.naacl-main.465/

概述

為了擴(kuò)展多語言知識(shí)圖譜問答的應(yīng)用，Zero-shot方法成為一個(gè)研究趨勢(shì)。在Zero-shot的設(shè)定下，通過高資源語言的訓(xùn)練數(shù)據(jù)構(gòu)建模型，解決無標(biāo)注的多語言問題。一個(gè)直觀的方法是使用多語言的預(yù)訓(xùn)練模型（例如m-BERT）來做跨語言的轉(zhuǎn)換，但目前優(yōu)勢(shì)語言與其他語言的問答性能之間仍然存在明顯的差異。在這篇論文中，作者提出了一種無監(jiān)督雙語詞歸納方法（BLI）將優(yōu)勢(shì)語言的問題（論文中的原語言）映射到其他語言上，作為擴(kuò)展訓(xùn)練集。從而解決訓(xùn)練和推理之間的語言不一致問題。進(jìn)一步的，通過一個(gè)對(duì)抗學(xué)習(xí)策略來解決擴(kuò)展集存在的語法障礙問題，使得到的模型具有語言和語法的獨(dú)立性。在一個(gè)具有11種Zero-shot數(shù)據(jù)集上實(shí)驗(yàn)驗(yàn)證的該方法的有效性。

動(dòng)機(jī)

對(duì)于多語言圖譜問答任務(wù), 現(xiàn)有的benchmark廣泛使用了翻譯方法, 即利用機(jī)器翻譯將優(yōu)勢(shì)語言資源的訓(xùn)練數(shù)據(jù)翻譯為其他語言, 從而擴(kuò)充為多語言訓(xùn)練集. 但是這類方法嚴(yán)重依賴于翻譯方法的性能, 顯然高性能翻譯器并不是滿地都是.

為了使方法能夠適用于更多的語言, 作者假設(shè)這個(gè)任務(wù)場(chǎng)景里不具備人工譯者和平行語料的資源. 對(duì)應(yīng)的, 為了解決訓(xùn)練數(shù)據(jù)擴(kuò)充, 作者引入了一個(gè)基于BLI的完全無監(jiān)督機(jī)器翻譯方法. 作者判斷BLI方法有效的依據(jù)在于KGQA面對(duì)的往往是短句, 對(duì)于長(zhǎng)距離依賴的影響不大, 而語言一致性能夠帶來更大收益.

為了緩解BLI引起的句法障礙問題, 作者使用了一個(gè)對(duì)抗學(xué)習(xí)策略, 即在編碼器頂層設(shè)置一個(gè)分類器用于區(qū)分輸入的是源語言句子還是BLI翻譯得到的句子, 通過這種做法使編碼器對(duì)于語言的敏感性減少, 從而適用于多語言任務(wù).

方法

作者首先建立了一個(gè)面向單語問題的基礎(chǔ)框架, 包含三個(gè)主要模塊, 如圖1:

1.推理鏈排序: 對(duì)于鏈接到的問題實(shí)體, 首先找到其潛在的候選鏈(來自鏈接實(shí)體+兩跳之內(nèi)的另據(jù)), 而后與將鏈與問題計(jì)算相關(guān)性, 取Top-1作為目標(biāo)推理鏈2.類型約束排序: 對(duì)于1中給出的推理鏈, 枚舉出已知變量和lambda變量的類型候選,因?yàn)檫@兩個(gè)變量之間幾乎沒有黃金類型約束的重疊，一個(gè)的語義匹配模型對(duì)兩者都是足夠的,從而確定了推理鏈上的節(jié)點(diǎn)(變量)的類型.3.聚合分類器: 針對(duì)問題中涉及的聚合操作如: 布爾, 計(jì)數(shù)和事實(shí), 構(gòu)建分類器判斷聚合類型, 而后將聚合操作約束也添加到生成的查詢圖中

圖2是作者提出的基于BLI的多語言問題語義匹配模型.

首先, BLI方法實(shí)際上是通過找到一個(gè)線性轉(zhuǎn)換矩陣, 使得不同語言的預(yù)訓(xùn)練單語詞向量之間差異最小, 即如公式6:

基于BLI作者建立了一個(gè)字對(duì)字翻譯器

考慮到圖譜問答主要是詞或短語級(jí)別的匹配, 通過字對(duì)字翻譯得到的序列可以滿足這個(gè)需要, 另一方面, 關(guān)于翻譯錯(cuò)誤帶來的影響, 作者描述為, 直觀上, 他們的詞向量在空間上接近, 錯(cuò)誤的詞級(jí)別翻譯可以視作微量的噪聲, 對(duì)于具備魯棒性的Transformer-based編碼器來說, 不會(huì)造成什么影響.

在多語言問答場(chǎng)景中, 基礎(chǔ)模型主要又以下一些變化:

1.推理鏈排序: 對(duì)于每個(gè)推理鏈, 通過三種方式豐富它的謂詞: a. 將camel表示的短語轉(zhuǎn)換為序列格式的詞; b. 增加或減少方向信息的前綴; c. 在局部封閉假設(shè)下鏈接高頻類型;2.類型約束排序: 待匹配的問題和符號(hào)候選通過[CLS],[SEP]的標(biāo)記連接起來, 輸入預(yù)訓(xùn)練編碼器后在經(jīng)過Pool(.), 后者表示使用[CLS]的上下問來表示整個(gè)輸入. 這里的預(yù)訓(xùn)練編碼器使用的是m-BERT

3.聚合分類器: 由多語言預(yù)訓(xùn)練編碼器+MLP-based的預(yù)測(cè)層構(gòu)成.

實(shí)驗(yàn):

數(shù)據(jù)集:

作者主要使用了兩個(gè)知識(shí)圖譜問答數(shù)據(jù)集:

LC-QuAD(單語) 包含5000個(gè)英語問題-SPARQL對(duì), 其中1000用作測(cè)試集

QALD-multilingual(多語言), 包含12種語言, 429個(gè)問題全部作為測(cè)試集, 使用LC-QuAD作為訓(xùn)練集.

實(shí)驗(yàn)結(jié)果:

主要結(jié)果(評(píng)價(jià)指標(biāo)為ICA與F1)

消融分析:

---

OpenKG

OpenKG（中文開放知識(shí)圖譜）旨在推動(dòng)以中文為核心的知識(shí)圖譜數(shù)據(jù)的開放、互聯(lián)及眾包，并促進(jìn)知識(shí)圖譜算法、工具及平臺(tái)的開源開放。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 改善多语言KGQA的 Zero-shot 跨语言转换的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。