筆記整理：朱珈徵，天津大學(xué)碩士

鏈接：https://aclanthology.org/2021.acl-long.183.pdf

動機(jī)

因果推理旨在理解因果之間的一般因果相關(guān)性，對于各種人工智能應(yīng)用都有很大的價值。先前的研究主要是基于從手工注釋的因果事件對中歸納出的知識來推斷事件之間的因果關(guān)系。然而，關(guān)于因果關(guān)系的更多證據(jù)信息仍未被利用。通過整合這些信息，可以揭示因果關(guān)系背后的邏輯規(guī)律，提高因果推理系統(tǒng)的可解釋性和穩(wěn)定性。為此，作者們提出了一個事件圖知識增強(qiáng)的可解釋因果推理框架(ExCAR)。ExCAR首先從大規(guī)模的因果事件圖中獲取額外的證據(jù)信息，作為因果推理的邏輯規(guī)則。為了學(xué)習(xí)邏輯規(guī)則的條件概率，作者們提出了條件馬爾可夫神經(jīng)邏輯網(wǎng)絡(luò)(CMNLN)，它以端到端可微的方式結(jié)合了邏輯規(guī)則的表示學(xué)習(xí)和結(jié)構(gòu)學(xué)習(xí)。實驗結(jié)果表明，ExCAR的性能優(yōu)于以往的SOTA方法。對抗性攻擊評估顯示ExCAR的穩(wěn)定性優(yōu)于基線系統(tǒng)。人工評估結(jié)果表明，ExCAR具有良好的可解釋性能

亮點

ExCAR的亮點主要包括：

1.提出了一個事件圖知識增強(qiáng)的可解釋因果推理(ExCAR)框架充分利用證據(jù)信息的潛力。給定一個輸入事件對，ExCAR首先從大型因果事件圖中檢索外部證據(jù)事件，并將它們之間的因果關(guān)系定義為一組邏輯規(guī)則；2.進(jìn)一步提出了一個條件馬爾可夫神經(jīng)邏輯網(wǎng)絡(luò)(CMNLN)，以端到端方式學(xué)習(xí)邏輯規(guī)則的條件因果相關(guān)性，以解決事件之間因果關(guān)系的不確定。

概念及模型

?背景

因果推理任務(wù)可以形式化為一個預(yù)測問題：給定一個因果事件對<C,E>，由前提事件和其中一個假設(shè)事件組成，預(yù)測模型需要預(yù)測一個分?jǐn)?shù)來度量事件對的因果關(guān)系。

CEG是由作者構(gòu)建的大規(guī)模因果知識庫，從該知識庫中可以檢索出一組針對某一因果事件對<C,E>的額外證據(jù)。在形式上，CEG是一個有向無環(huán)圖，表示為G = {V,R}，其中V是節(jié)點集，R是邊集。每個節(jié)點??對應(yīng)一個事件，而每條邊??表示第i個事件和第j個事件之間存在因果關(guān)系。

為了提高因果推理的可解釋性和穩(wěn)定性，本文將因果推理問題轉(zhuǎn)化為基于規(guī)則的推理任務(wù)。具體來說，給定一個輸入因果事件對<C,E>，從CEG那里檢索到一組證據(jù)事件。證據(jù)事件與C、E進(jìn)一步形成一套因果邏輯規(guī)則，其中一條規(guī)則描述了兩個事件之間的因果關(guān)系。在形式上，規(guī)則??，其中是?一個邏輯連接，表示兩個事件??和??之間的因果關(guān)系。針對這些因果邏輯規(guī)則，可以揭示因果機(jī)制，并以一種可解釋的方式進(jìn)行因果推理

事件圖知識增強(qiáng)的可解釋因果推理(ExCAR)框架結(jié)構(gòu)如下：

?ExCAR

如圖上所示，ExCAR由兩個組件組成。給定事件對<C,E>，ExCAR采用證據(jù)檢索模塊，從預(yù)先構(gòu)建的因果事件圖中檢索證據(jù)事件，生成一組邏輯規(guī)則。然后ExCAR利用條件馬爾可夫神經(jīng)網(wǎng)絡(luò)進(jìn)行基于邏輯規(guī)則的因果推理。

?證據(jù)事件檢索

給定在因果事件圖之外的事件對<C,E>，為了從因果事件圖中獲得證據(jù)，作者首先在因果事件圖中定位因果關(guān)系。從直觀上看，語義上相似的事件會有相似的原因和結(jié)果，并且在CEG中共享相似的位置。為此，采用了一種預(yù)先訓(xùn)練的語言模型ELMo來推導(dǎo)CEG中事件的語義表示，以及因果事件。然后利用語義表示的余弦相似度，在CEG中找到與輸入的因果事件語義相似的事件。這些事件可以作為定位因果事件的錨點。然后如上圖所示，以原因事件的錨點為起點，以效應(yīng)事件的錨點為終點，可以通過廣度優(yōu)先搜索(BFS)算法檢索證據(jù)事件。

?條件馬爾可夫神經(jīng)邏輯網(wǎng)絡(luò)

規(guī)則的因果強(qiáng)度可能因先行詞的不同而不同，其中先行詞可以是一個事件，一個簡單的規(guī)則或單個規(guī)則的復(fù)雜組合。為清楚起見，將規(guī)則??的先行詞表示為??。如圖所示，從因果邏輯圖派生出的單個規(guī)則可以有多個前因，每個前因都可以對規(guī)則的因果強(qiáng)度產(chǎn)生自己的影響。為了通過利用神經(jīng)模型在表示學(xué)習(xí)中的有效性來解決這個問題，提出了基于邏輯規(guī)則嵌入的CMNLN。為了模擬規(guī)則的疊加因果效應(yīng)，CMNLN將CLG視為不同因果邏輯鏈的組合，并結(jié)合每個因果邏輯鏈的信息預(yù)測因果評分。因此，在每個因果邏輯鏈中，使用一個前因感知的勢函數(shù)，為每個規(guī)則估計特定于鏈的因果強(qiáng)度。然后CMNLN聚合鏈內(nèi)因果信息和鏈間因果信息，得出因果評分。

?訓(xùn)練

在訓(xùn)練過程中，引入了因果邏輯驅(qū)動的負(fù)抽樣，以提高條件因果強(qiáng)度估計的可靠性。特別是，如果在CLG中存在規(guī)則??，由于因果關(guān)系的單向性，可以推導(dǎo)出相應(yīng)的錯誤規(guī)則??。從CLG中，也可以通過隨機(jī)抽樣為錯誤規(guī)則生成一個錯誤的前因式。因此，理想情況下，這些錯誤規(guī)則的條件因果強(qiáng)度應(yīng)該等于0。此外，還將因果關(guān)系的單向性與因果關(guān)系的及物性結(jié)合起來，生成具有更復(fù)雜模式的錯誤規(guī)則。通過對錯誤規(guī)則進(jìn)行采樣并訓(xùn)練這些錯誤規(guī)則的勢函數(shù)為零時，條件因果強(qiáng)度估計的可靠性可以得到提高。對于因果邏輯驅(qū)動的負(fù)抽樣過程，CMNLN的損失函數(shù)定義為

理論分析

實驗

為了評估ExCAR框架的魯棒性，作者構(gòu)建了一個額外的中文常義因果推理數(shù)據(jù)集C-COPA。

Baseline：這些方法從大規(guī)模語料庫中估計詞或短語層次的因果關(guān)系。然后通過合成詞級或短語級的因果關(guān)系，得到輸入事件對的因果關(guān)系。PMI使用點互信息度量詞級因果關(guān)系。PMI EX是一個非對稱的詞水平PMI，它考慮了因果推理的方向性。CS通過整合必要性因果關(guān)系和充分性因果關(guān)系來衡量詞匯層面的因果關(guān)系。CS MWP使用CS評分來衡量單詞和介詞短語之間的因果關(guān)系。

作者在下表中列出了COPA數(shù)據(jù)集和C-COPA數(shù)據(jù)集上的結(jié)果。實驗表明，與基于因果對的BERT相比，ExCAR相關(guān)方法的性能有所提高。這表明從事件圖中加入額外的證據(jù)有助于揭示因果決策機(jī)制，從而提高因果推理的準(zhǔn)確性。ExCAR-w/ MLN和ExCAR-w/ CMNLN的性能優(yōu)于ExCAR-concat，后者將CLG簡化為一個事件序列。這表明利用邏輯規(guī)則之間復(fù)雜的因果關(guān)系模式可以幫助完成因果推理任務(wù)。與ExCAR-w/ fixed-cs相比，ExCAR-w/ MLN和ExCAR-w/ CMNLN的性能有所提高。這證實了神經(jīng)化規(guī)則來解釋邏輯規(guī)則的不確定性對因果推理任務(wù)是有幫助的。與ExCAR-w/ MLN相比，ExCAR-w/ CMNLN進(jìn)一步提高了預(yù)測精度，表明通過整合前因感知勢函數(shù)，CMNLN可以對因果推理邏輯規(guī)則的條件因果強(qiáng)度進(jìn)行建模。

表2為對抗性攻擊后的預(yù)測精度，?為對抗性攻擊帶來的性能變化。例如，?= -9.9表示攻擊后的預(yù)測精度下降了9.9%。作者發(fā)現(xiàn)，與基于事件對的BERT相比，ExCAR能夠顯著提高預(yù)測精度的穩(wěn)定性。這些結(jié)果表明，ExCAR可以通過引入額外的證據(jù)事件來揭示其背后的因果機(jī)制，從而提高預(yù)測結(jié)果的穩(wěn)定性。

總結(jié)

本文設(shè)計了一個新穎的可解釋的因果推理框架ExCAR。給定一個事件對，ExCAR能夠從一個大規(guī)模的因果事件圖中獲取邏輯規(guī)則，以提供對推理結(jié)果的洞察力。為了學(xué)習(xí)邏輯規(guī)則的條件概率，作者提出了一種結(jié)合了基于規(guī)則和神經(jīng)模型的優(yōu)勢的條件馬爾可夫神經(jīng)邏輯網(wǎng)絡(luò)。經(jīng)驗上，本文的方法在兩個因果推理數(shù)據(jù)集，包括COPA和C-COPA上優(yōu)于之前的工作。此外，ExCAR可以通過提供概率邏輯規(guī)則的解釋來解釋。

---

OpenKG

OpenKG（中文開放知識圖譜）旨在推動以中文為核心的知識圖譜數(shù)據(jù)的開放、互聯(lián)及眾包，并促進(jìn)知識圖譜算法、工具及平臺的開源開放。

點擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | ExCAR: 一个事件图知识增强的可解释因果推理框架的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。