Yang, B., Mitchell, T., 2017. Leveraging Knowledge Bases in LSTMs for Improving Machine Reading. Association for Computational Linguistics, pp. 1436–1446.

鏈接：http://www.aclweb.org/anthology/P/P17/P17-1132.pdf

?

這篇論文是今年發表在 ACL 的一篇文章，來自 CMU 的工作，提出通過更好地利用外部知識庫的方法解決機器閱讀問題。由于傳統方法中用離散特征表示知識庫的知識存在了特征生成效果差而且特征工程偏特定任務的缺點，本文選擇用連續向量表示方法來表示知識庫。傳統神經網絡端到端模型使得大部分背景知識被忽略，論文基于 BiLSTM 網絡提出擴展網絡 KBLSTM，結合 attention 機制在做任務時有效地融合知識庫中的知識。

論文以回答要不要加入 background knowledge，以及加入哪一些信息兩部分內容為導向，并借助以下兩個例子說明兩部分內容的重要性。“Maigretleft viewers in tears.”利用背景知識和上下文我們可以知道Maigret指一個電視節目，“Santiago is charged withmurder.”如果過分依賴知識庫就會錯誤地把它看成一個城市，所以根據上下文判斷知識庫哪些知識是相關的也很重要。

KBLSTM（Knowledge-aware Bidirectional LSTMs）有三個要點：

（1）檢索和當前詞相關的概念集合V（x_t）

（2）attention 動態建模語義相關性

（3）sentinel vector S_t 決定要不要加入 background knowledge。

主要流程分兩條線：

（1）當考慮背景知識的時候就把 knowledge module 考慮進去

（2）如果找不到和當前詞相關的概念則設置 m_t 為 0，直接把 LSTM 的 hidden state vector 作為最后的輸出。

后者簡單直接，這里說明前者的結構。knowledge module 模塊把 S_t、h_t、V(x_t) 作為輸入，得到每個候選知識庫概念相對于 h_t 的權重 α_t，由 S_t 和 h_t 得到 β_t 作為 S_t 的權重，最后加權求和得到 m_t 和 h_t 共同作為輸入求最后輸出，這里通過找相關概念和相關權重決定加入知識庫的哪些知識。

論文用 WordNet 和 NELL 知識庫，在 ACE2005 和 OntoNotes 數據集上做了實體抽取和事件抽取任務。兩者的效果相對于以前的模型都有提升，且同時使用兩個知識庫比任選其一的效果要好。

筆記整理： 李娟，浙江大學在讀博士，研究方向為知識圖譜，常識推理，知識庫分布式表示和學習。

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

轉載須知：轉載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標題，請注明原標題。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | Leveraging Knowledge Bases in LSTMs的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。