轉(zhuǎn)載公眾號 | 南大Websoft

---

概述

? ? 近兩年來NLP領(lǐng)域出現(xiàn)了一些富有挑戰(zhàn)性的機(jī)器閱讀理解數(shù)據(jù)集，如ReClor和LogiQA。這兩個數(shù)據(jù)集中的問題需要對文本進(jìn)行邏輯推理，然而傳統(tǒng)的神經(jīng)模型不足以進(jìn)行邏輯推理，傳統(tǒng)的符號推理器不能直接應(yīng)用于文本。為了應(yīng)對這一挑戰(zhàn)，我們提出了一種神經(jīng)-符號方法，將基本語篇單元用它們之間的邏輯關(guān)系組成圖并進(jìn)行推理。我們提出了一個自適應(yīng)邏輯圖網(wǎng)絡(luò)（AdaLoGN），可以自適應(yīng)地根據(jù)邏輯關(guān)系來擴(kuò)展圖，并且在一定程度上實(shí)現(xiàn)了神經(jīng)和符號推理之間的交互和迭代強(qiáng)化。我們還實(shí)現(xiàn)了一種子圖到節(jié)點(diǎn)的圖消息傳遞機(jī)制，以增強(qiáng)多選題問答中的背景和選項(xiàng)交互，并在ReClor和LogiQA上取得了較好的結(jié)果。

動機(jī)

? ? 如下圖，背景文本（Context）中包含了一系列描述基本語篇單元（elementary discourse unit, EDU）之間的邏輯關(guān)系的文本，如第一句話中描述了兩個EDU之間的蘊(yùn)含關(guān)系：”the company gets project A” ->?“product B can be put on the market on schedule”。人類能夠很自然地將這些命題轉(zhuǎn)換為符號推理，然而對于計算機(jī)來說卻是個有挑戰(zhàn)性的任務(wù)。我們希望能夠融合神經(jīng)推理和符號推理，提升計算機(jī)解決邏輯推理問題的能力。

方法

? ? 我們構(gòu)建了一個融合神經(jīng)-符號推理的框架，這個框架總體上包括以下幾個模塊：

首先將文本劃分為單獨(dú)的EDU并使用預(yù)定義好的規(guī)則將關(guān)系映射到對應(yīng)的邏輯關(guān)系。建立一個文本邏輯圖（Text Logic Graph），并使用RoBERTa編碼文本并得到EDU的初始表示。

將邏輯推理的過程加入到圖神經(jīng)網(wǎng)絡(luò)的框架中。我們根據(jù)結(jié)點(diǎn)的表示使用神經(jīng)方法判斷是否需要根據(jù)預(yù)定好的規(guī)則更改TLG的結(jié)構(gòu)（添加額外的邊或者結(jié)點(diǎn)）。實(shí)現(xiàn)了通過符號推理（邏輯規(guī)則）增強(qiáng)神經(jīng)推理（圖神經(jīng)網(wǎng)絡(luò)）。在圖神經(jīng)網(wǎng)絡(luò)的中間層擴(kuò)充的結(jié)果并不會保留到下一層，而是在下一層重新推理并擴(kuò)充，能夠一定程度上避免錯誤累積，而在上一層更新過的結(jié)點(diǎn)表示保留到下一層，通過這種機(jī)制反過來實(shí)現(xiàn)神經(jīng)推理增強(qiáng)符號推理。

為了增強(qiáng)多選題中的背景和選項(xiàng)交互，我們提出了子圖-結(jié)點(diǎn)消息傳遞機(jī)制。將TLG劃分為背景子圖和選項(xiàng)子圖，在消息傳遞過程中，每一個結(jié)點(diǎn)不僅僅會收到鄰居結(jié)點(diǎn)的消息，還會收到另外一個子圖整體的消息，這個子圖消息是注意力機(jī)制指導(dǎo)下的子圖結(jié)點(diǎn)池化的結(jié)果。

最后綜合原始的背景、問題、選項(xiàng)表示和TLG的圖表示預(yù)測答案。

實(shí)驗(yàn)

? ? 我們在邏輯推理數(shù)據(jù)集ReClor和LogiQA上進(jìn)行了實(shí)驗(yàn)，評測指標(biāo)：accuracy。

? ? 對比多個Baseline取得了更好的結(jié)果（除了LReasoner(w/ DA)），我們認(rèn)為我們的方法和其它Baselines也能通過LReasoner中的DA（數(shù)據(jù)增強(qiáng)）方法獲得提升。

? ? 消融實(shí)驗(yàn)也展現(xiàn)了我們的各個模塊的有效性，其中no-ext表示沒有擴(kuò)充，full-ext表示加入所有候選擴(kuò)充，no-at表示去掉Adjacency transmission規(guī)則，n2n表示去掉子圖-結(jié)點(diǎn)消息傳遞，n2n+中為背景子圖和消息子圖中的結(jié)點(diǎn)兩兩之間添加一條雙向邊。

錯誤分析和未來的改進(jìn)方向

? ? 在錯誤分析中發(fā)現(xiàn)錯誤集中在以下幾類：

受限于EDU抽取工具的精度，出現(xiàn)TLG構(gòu)建錯誤。

TLG擴(kuò)充過程中出錯導(dǎo)致的錯誤。

使用的命題邏輯不能表示的推理過程（需要更高階的邏輯系統(tǒng)）。

其它錯誤（可能是因?yàn)樯窠?jīng)推理）。

? ? 基于錯誤分析，計劃在未來的工作中使用表示能力更強(qiáng)的邏輯系統(tǒng)并設(shè)計更好的判斷是否需要根據(jù)邏輯規(guī)則擴(kuò)充的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

論文鏈接：https://arxiv.org/pdf/2203.08992.pdf

代碼鏈接：https://github.com/nju-websoft/AdaLoGN

---

OpenKG

OpenKG（中文開放知識圖譜）旨在推動以中文為核心的知識圖譜數(shù)據(jù)的開放、互聯(lián)及眾包，并促進(jìn)知識圖譜算法、工具及平臺的開源開放。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 - ACL2022 | 面向推理阅读理解的神经符号方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。