以深度學(xué)習(xí)為代表的智能感知技術(shù)已經(jīng)取得了突破性進展，并已在各行各業(yè)產(chǎn)生了巨大的價值。目前，人工智能的研究領(lǐng)域已經(jīng)逐漸從感知智能向認(rèn)知智能領(lǐng)域過渡，其中，深度學(xué)習(xí)無法解決的一個主要問題是常識推理問題。常識知識是人類智能的重要體現(xiàn)，在計算機中通常以符號邏輯的知識表示形式存儲和處理。最近，常識推理在多個研究領(lǐng)域受到了廣泛關(guān)注，澤宇調(diào)研了最新發(fā)表的關(guān)于常識推理和引入常識知識的研究論文并和大家一起分享學(xué)習(xí)。

?

1. 常識問答

常識推理是指評估環(huán)境狀況并采取相應(yīng)行動的能力。識別環(huán)境的隱式原因和結(jié)果的能力可以使機器執(zhí)行常識性推理。常識推理或常識問答是常識知識最直接的應(yīng)用，也是研究工作最集中的領(lǐng)域，下面來介紹幾篇這個領(lǐng)域的研究。

I Know What You Asked: Graph Path Learning using AMR for Commonsense Reasoning

Authors: Jungwoo Lim, Dongsuk Oh, Yoonna Jang, Kisu Yang, Heuiseok Lim

論文地址：https://arxiv.org/pdf/2011.00766

內(nèi)容簡介：這篇論文是最新發(fā)表在COLINE 2020上關(guān)于常識推理的研究（接下來還有兩篇也是發(fā)表在COLING 2020）。這篇論文的題目很有意思：“我知道你問的是什么”。從題目就可以看出來這項工作主要面向理解常識問答中的問題。常識問答任務(wù)不像傳統(tǒng)的問答（QA）任務(wù)可以直接從知識庫或表中直接找到問題對應(yīng)的答案，而是需要利用預(yù)定義知識執(zhí)行常識推理來預(yù)測正確答案。以前的大多數(shù)常識問答工作主要是提高分布式表示學(xué)習(xí)的性能，而沒有考慮根據(jù)問題的語義表示來預(yù)測答案。為了分析問題的語義解釋，這篇論文提出了AMR-ConceptNet-Pruned（ACP）圖。ACP圖是從包含輸入問題生成的抽象含義表示（AMR）圖和外部常識知識圖譜ConceptNet（CN）的完整集成圖中修剪而來的。然后，利用ACP圖來解釋推理路徑并預(yù)測常識問答任務(wù)的正確答案。一個常識問答的例子如下圖(a)所示，問題語義表示圖如下圖(b)所示，問題相關(guān)的常識知識圖譜圖譜ConceptNet中的子圖如下圖(c)所示。

?

Improving Commonsense Question Answering by Graph-based Iterative Retrieval over Multiple Knowledge Sources

Authors: Qianglong Chen, Feng Ji, Haiqing Chen, Yin Zhang

論文地址：https://arxiv.org/pdf/2011.02705

內(nèi)容簡介：這篇論文是浙大和阿里達摩院聯(lián)合發(fā)表在COLING 2020上的工作，從題目中可以看出重點在于如何從多個知識源中檢索答案。本文提出了一種通過整合多個知識源（ConceptNet，Wikipedia和Cambridge Dictionary）的問答方法。具體地，這項研究的一個核心模塊是一個新穎的基于圖結(jié)構(gòu)的迭代知識檢索模塊，該模塊從多個知識源中迭代檢索與給定問題有關(guān)的概念和實體，具體方法如下圖所示。然后，使用預(yù)訓(xùn)練語言模型RoBERTa-large對問題進行編碼，并提出一種答案選擇感知注意力機制，以融合先前模塊的所有隱式表示。最后，針對特定問答任務(wù)采用線性分類器來預(yù)測答案。

?

COSMO: Conditional SEQ2SEQ-based Mixture Model for Zero-Shot Commonsense Question Answering

Authors: Farhad Moghimifar, Lizhen Qu, Yue Zhuo, Mahsa Baktashmotlagh, Gholamreza Haffari

論文地址：https://arxiv.org/pdf/2011.00777

內(nèi)容簡介：這篇論文同樣是發(fā)表在COLING 2020上的研究，特點是考慮了零樣本學(xué)習(xí)情況下的常識問答任務(wù)。這項研究的背景是針對社交媒體網(wǎng)絡(luò)的動態(tài)世界，由于無法識別各種隱式社會關(guān)系也就是無法估計出正確的推理路徑，當(dāng)前常識推理方法缺乏在面對看不見的情況時執(zhí)行常識推理的能力。本文提出了基于條件SEQ2SEQ的混合模型（COSMO），該模型提供了動態(tài)且多樣化的內(nèi)容生成功能。具體的，使用COSMO生成上下文相關(guān)子句，這些子句可動態(tài)生成動態(tài)知識圖譜，并利用設(shè)計的答案分類器模型，以實現(xiàn)零樣本常識推理。特別的，這項工作使用的常識知識庫不同于常見的ConceptNet等三元組表示的常識知識圖譜，而是使用了ATOMIC，這是一個包含30萬個事件的簡短文字描述和87.7萬個事件之間的if-then關(guān)系，因此這個常識庫的常識知識是以子句的形式表示的。包含動態(tài)子句生成和分類器模塊的模型如下圖所示。

?

Differnetiable Open-Ended Commonsense Reasoning

Authors: Bill Yuchen Lin, Haitian Sun, Bhuwan Dhingra, Manzil Zaheer, Xiang Ren, William W. Cohen

論文地址：https://arxiv.org/pdf/2010.14439

內(nèi)容簡介：這篇論文是南加州的Yuchen Lin和Xiang Ren老師等人的研究，主要研究開放式的常識推理任務(wù)。作者考慮到當(dāng)前的常識推理研究主要集中在開發(fā)使用常識知識回答多項選擇題的任務(wù)。但是，在沒有提供可能的候選答案供選擇時，這類系統(tǒng)就會無法使用。因此，這篇論文研究了開放式常識推理（OpenCSR），也就是無需任何預(yù)先定義的選擇就可以回答常識問題的任務(wù)，僅使用自然語言描述的常識事實語料庫作為資源庫。由于許多常識問題需要多跳推理才能預(yù)測答案，因此論文提出了一種支持多跳推理的可微模型，稱為DrFact。特別的，DrFact同時使用事實知識之間關(guān)聯(lián)的神經(jīng)和符號表示，以在端到端的可區(qū)分框架中對事實跟蹤操作進行建模。首先將語料庫中的所有事實句子編碼為向量表示，以形成神經(jīng)事實索引，以便可以通過最大內(nèi)積操作來完成快速檢索。同時，使用稀疏的事實的共現(xiàn)矩陣來存儲事實之間的符號鏈接（如果一對事實共享相同的概念，則將它們鏈接在一起）。采用事實跟蹤的多跳推理過程如下圖所示。

?

2. 生成式常識推理

KG-BART: Knowledge Graph-Augmented BART for Generative Commonsense Reasoning

Authors: Ye Liu, Yao Wan, Lifang He, Hao Peng, Philip S. Yu

論文地址：https://arxiv.org/pdf/2009.12677

內(nèi)容簡介：這篇論文是數(shù)據(jù)庫權(quán)威大佬Philip S. Yu團隊的一項研究，之前我們也專門對他們寫的一篇知識圖譜最新綜述論文進行了解讀，感興趣的小伙伴可以查看文末的往期精選中的鏈接。現(xiàn)在我們介紹的這篇關(guān)于常識推理的論文主要研究融合知識圖譜的預(yù)訓(xùn)練語言模型并用于生成式常識推理任務(wù)。生成式常識推理旨在使機器能夠生成具有推理能力的句子，這是文本生成的關(guān)鍵瓶頸。即使最先進的預(yù)訓(xùn)練語言模型難以完成這一任務(wù)，因為這些模型很少考慮在常識概念之間提供豐富關(guān)系信息的知識圖譜。為了提高常識推理在文本生成中的能力，這篇論文提出了一種新穎的知識圖譜增強的預(yù)訓(xùn)練語言生成模型KG-BART，該模型通過知識圖譜包含概念的復(fù)雜關(guān)系，并產(chǎn)生更多符合邏輯邏輯和自然的句子作為輸出。此外，KG-BART可以利用圖注意力來聚合豐富的概念語義信息，從而增強了對未見概念集的模型泛化能力。KG-BART和現(xiàn)有的一些預(yù)訓(xùn)練語言模型在生成常識推理句子的例子如下圖所示。

?

Generating Commonsense Explanation by Extracting Bridge Concepts from Reasoning Paths

Authors: Haozhe Ji, Pei Ke, Shaohan Huang, Furu Wei, Minlie Huang

論文地址：https://arxiv.org/pdf/2009.11753

內(nèi)容簡介：這篇論文是清華的Minlie Huang老師團隊發(fā)表在 AACL-IJCNLP 2020上的研究。常識解釋的生成旨在通過針對常識的陳述語句生成合理的解釋來增強機器的感知能力。這篇論文首先提出了一種兩階段方法，該方法首先從ConceptNet常識知識圖譜中檢索并抽取“橋梁”概念，然后通過集成所提取的概念來生成解釋。為了促進推理過程，利用外部常識知識抽取和修剪多跳路徑來構(gòu)建子圖，從而在語句和橋梁概念之間建立聯(lián)系。接著，基于Transformer生成解釋語句。整個系統(tǒng)流程如下圖所示。

Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph

Authors: Haozhe Ji, Pei Ke, Shaohan Huang, Furu Wei, Xiaoyan Zhu, Minlie Huang

論文地址：https://arxiv.org/pdf/2009.11692

內(nèi)容簡介：這篇論文同樣是清華Minlie Huang老師團隊發(fā)表在EMNLP 2020上的研究，一作還是Haozhe Ji。現(xiàn)有的將常識知識集成到預(yù)訓(xùn)練語言模型中的方法，在遷移關(guān)系知識時僅僅利用了單個知識三元組，而忽略了知識圖譜中的豐富語義關(guān)聯(lián)。作者認(rèn)為利用知識圖譜的結(jié)構(gòu)和語義信息可促進常識文本生成，因此，這篇論文提出了使用多跳推理流程（GRF）進行文本生成的方法，該方法可以在從外部常識知識圖譜中提取的多關(guān)系路徑上啟用帶有動態(tài)多跳推理的預(yù)訓(xùn)練模型。使用外部知識圖譜促進常識文本生成的示例如下圖所示。

?

3. 結(jié)合符號邏輯的常識推理

Learning Contextualized Knowledge Structures for Commonsense Reasoning

Authors: Jun Yan, Mrigank Raman, Tianyu Zhang, Ryan Rossi, Handong Zhao, Sungchul Kim, Nedim Lipka, Xiang Ren

論文地址：https://arxiv.org/pdf/2010.12873

內(nèi)容簡介：這篇論文是南加州的Xiang Ren老師團隊和印度理工，清華與Adobe聯(lián)合的研究，主要研究了用于常識推理的神經(jīng)符號模型。最近，神經(jīng)符號結(jié)構(gòu)通過有效地編碼外部知識圖譜中的關(guān)系結(jié)構(gòu)，并在常識推理和問答等任務(wù)中獲得了最新技術(shù)成果。但是，這些方法依賴于在預(yù)處理階段從知識圖譜中檢索到的上下文三元組事實，卻忽略了知識圖譜的不完備性，關(guān)系表達的有限性以及與推理無關(guān)的事實而引入噪聲等問題。本文提出了一種新的神經(jīng)符號模型，稱為混合圖網(wǎng)絡(luò)（HGN），該模型可聯(lián)合生成新的三元組的嵌入表示（用于知識圖譜補全），確定三元組與推理的相關(guān)性上下文，并學(xué)習(xí)用于對關(guān)系信息進行編碼的圖模塊參數(shù)。模型還能通過過濾對推理過程無用的邊來得到更為緊湊的圖結(jié)構(gòu)（包含提取的邊和新生成的邊）。整個模型的結(jié)構(gòu)如下圖所示。

Social Commonsense Reasoning with Multi-Head Knowledge Attention

Authors: Debjit Paul, Anette Frank

論文地址：https://arxiv.org/pdf/2010.05587

內(nèi)容簡介：這篇論文是發(fā)表在EMNLP 2020上的研究，主要結(jié)合半結(jié)構(gòu)化的常識推理規(guī)則實現(xiàn)常識推理。在這項工作中，提出了一種新穎的多頭知識注意力機制，該模型通過對半結(jié)構(gòu)化的常識推理規(guī)則進行編碼，并學(xué)習(xí)將其納入基于Transformer的推理單元中。論文中通過兩個推理任務(wù)來評估模型的性能：歸納自然語言推理和反事實不變預(yù)測。這個工作也是第一個證明了能夠進行反事實推理的模型有助于預(yù)測歸納推理任務(wù)。

?

Inductive Learning on Commonsense Knowledge Graph Completion

Authors: Bin Wang, Guangtao Wang, Jing Huang, Jiaxuan You, Jure Leskovec, C. -C. Jay Kuo

論文地址：https://arxiv.org/pdf/2009.09263

內(nèi)容簡介：這篇論文常識知識圖譜是一種特殊類型的知識圖譜，其中實體是由自由格式的文本組成。但是，大多數(shù)現(xiàn)有的常識知識圖譜補全的方法都集中在在訓(xùn)練時具有所有實體的情況。而實際上，常識知識圖譜往往非常稀疏，測試時的一些實體在訓(xùn)練過程中可能是沒有見過的，并且實體可能與訓(xùn)練時的知識圖譜斷開連接。這篇論文中提出了一個新的歸納學(xué)習(xí)模型InductivE，即使在訓(xùn)練時知識圖譜中不存在某個實體，InductivE也可以通過直接從原始實體屬性或文本來計算實體的嵌入表示，以確保系統(tǒng)歸納學(xué)習(xí)的能力。InductiveE由文本編碼器，圖編碼器和知識圖譜補全解碼器組成。具體而言，文本編碼器首先基于預(yù)訓(xùn)練語言模型和詞嵌入來提取每個實體的文本表示。圖編碼器是門控關(guān)系圖卷積神經(jīng)網(wǎng)絡(luò)，可從知識圖譜的實體鄰域中學(xué)習(xí)更多信息來表示實體。歸納學(xué)習(xí)方法采用Conv-TransE作為常識知識圖譜補全的解碼器。整個模型的結(jié)構(gòu)圖如下圖所示。

?

接下來我們還會繼續(xù)分享常識知識在其它領(lǐng)域包括對話系統(tǒng)和圖像等領(lǐng)域中的應(yīng)用，歡迎關(guān)注我們的文章。

?

往期精選：

速覽EMNLP 2020上錄取的知識圖譜相關(guān)論文

介紹一些知識圖譜的實際應(yīng)用類項目

對知識圖譜的告白：斯坦福大學(xué)CS520課程介紹

知識圖譜最新權(quán)威綜述論文解讀：知識表示學(xué)習(xí)部分

手把手教你搭建一個中式菜譜知識圖譜可視化系統(tǒng)

?

如果對文章感興趣歡迎關(guān)注知乎專欄“人工智能遇上知識圖譜“，也歡迎關(guān)注同名微信公眾號“人工智能遇上知識圖譜”，讓我們一起學(xué)習(xí)并交流討論人工智能與知識圖譜技術(shù)。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

總結(jié)

以上是生活随笔為你收集整理的常识推理相关最新研究进展的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。