?PaperWeekly 原創 ·?作者｜張琨

學校｜中國科學技術大學博士生

研究方向｜自然語言處理

Motivation

近兩年，大家紛紛在提我們正在從感知智能向認知智能邁進，模型需要具備認知理解推理能力。研究人員也從這方面進行了深入研究。一個非常直觀的方法就是借鑒人的認知行為方式，使用神經網絡進行模擬，從而提升模型的效果，之前就有研究人員在Drr-net: Dynamic re-read network for sentence semantic matching [1]?文章中實現了人類的重讀機制。

論文標題：

Bi-directional Cognitive Thinking Network for Machine Reading Comprehension

論文作者：

Wei Peng / Yue Hu / Luxi Xing / Yuqiang Xie / Jing Yu / Yajing Sun / Xiangpeng Wei

論文鏈接：

https://arxiv.org/abs/2010.10286

在本文中，作者同樣是基于這個想法，借鑒人類的認知行為習慣進行機器閱讀理解。因此本文需要解決的問題就是：借鑒哪些行為習慣，如何借鑒，如何與機器閱讀理解模型進行融合。

Model

了解了本文的基本想法，那么在介紹本文提出的方法之前，首先介紹本文要借鑒的兩個認知行為習慣：

2.1 認知行為習慣

1. inertial thinking，慣性思維：一種方便快捷的思維方法，根據之前的經驗和想法去思考和解決問題；

2. reverse thinking，逆向思維：和慣性思維相反，利用和常規思路相反的形式去思考和解決問題。

將這兩種思想應用到閱讀理解任務中，以上圖為例：如果是慣性思維的話，那就是根據問題選出答案，如果是逆向思維的話，就是根據答案和段落學習到需要關注的點是兩個方面，包括 can pregnant women eat loquat 和what is the benefit to eat loquat for pregnant women 。

通過這兩部分的重點關注，就能夠更全面的理解問題和段落，從而實現更為準確的回答。基于這個想法，作者設計了自己的模型。

2.2 Bi-directional Cognitive Thinking Network

下圖是整個模型的框架圖，其中最主要的是這兩部分 Backward Encoder 和 Forward Encoder。模型的訓練過程也主要包含兩階段，Reverse Thinking Training ：該階段主要通過答案和段落推理問題是什么；Retraining with Inertial Thinking：在已有的逆向思維的結果上，通過重新分析給定段落和問題實現最終的答案的生成。

1. Reverse Thinking Training

該部分的主要過程可以由下圖實現，作者通過一系列復雜的操作最終模擬了人的逆向思維。

首先是輸入，將段落和答案拼接到一起得到作為一個輸入，同時為了根據答案確定段落中的相關信息，將答案獨自編碼，得到語義表示向量，該過程可以表示為如下形式：

之后，模型要模擬人的逆向思維過程，用于挖掘 U 和 V 之間（答案和段落）的關聯，因此這里使用了一個堆疊的模塊，其中 ? ?都是隨機初始化，在第 j 步，整個過程可以表示為，首先?? 和 U 進行拼接，然后經過一個非線性變化，接下來通過 attention 計算得到答案開始的概率分布?，然后利用? ?去得到更新之后的起始推理向量?，整個過程可以表示為如下形式：

得到起始推理向量表示之后，類似的方法計算得到終止推理表示向量：

與此同時，還會使用得到的起始與終止推理表示向量去更新段落的表示，即模型圖中的第 5 步：

除此之外，作者還加了門控結構用于控制逆向思維在整個模型中的強度：

其中的權重來自于 BERT 的 multi-head attention 權重。接下來通過池化操作就得到了模擬逆向思維的輸出：

最后，通過融合操作和解碼就實現了答案的生成過程：

整個過程都是一個逆向思維的過程，同時為了模擬正向思維（慣性思維）的過程，作者使用了類似的方法對整個模型進行了重新的訓練，只是在一些細節處理上進行了調整。為了方便閱讀，這里不再進行展示，具體細節可以參考原論文。

Experiments

為了驗證整個模型的效果，作者在一個中文的數據集 DuReader 上進行了模型的驗證，這部分還是有一些不足的，只進行了一個數據的驗證，如果能夠進行多個數據集的驗證就能夠更加有效的證明模型的效果了。相關的實驗結果如下圖。

相關的實驗內容還是都做了的，也證明了模型的效果。

Conclusion

本文從模擬人類認知行為的角度入手，通過設計神經網絡模擬逆向思維和慣性思維實現了機器閱讀理解模型效果的提升，理論切入和介紹還是很吸引人的，只是模型設計過于復雜，很多地方沒有詳盡的解釋，同時實驗相對較少，如果能夠進行更充分的實驗，就更好了。

參考文獻

[1]?https://ojs.aaai.org/index.php/AAAI/article/view/4734/4612

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的COLING 2020 | 面向机器阅读理解的双向认知思维网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。