CIKM 2017

論文 | Hike: A Hybrid Human-Machine Method for Entity Alignmentin Large-Scale Knowledge Bases

鏈接 | https://www.paperweekly.site/papers/1528

解讀 | 羅丹，浙江大學碩士

1. Motivation

隨著語義網絡的迅速發展，越來越多的大規模知識圖譜公開發布，為了綜合使用多個來源的知識圖譜，首要步驟就是進行實體對齊（Entity Alignment）。

近年來，許多研究者提出了自動化的實體對齊方法，但是，由于知識圖譜數據的不均衡性，導致此類方法對齊質量較低，特別是召回率（Recall）。

因此，可考慮借助于眾包平臺提升對齊效果，本文提出了一個人機協作的方法，對大規模知識圖譜進行實體對齊。

2. Framework

方法主要流程如圖所示：

首先，通過機器學習方法對知識庫進行粗略的實體對齊，然后分別將以對齊實體對（Matched Pairs）和未對齊實體對（Unmatched Pairs）放入眾包平臺，讓人進行判斷。

兩條流水線的步驟類似，主要包括四個部分：實體集劃分（Entity Partition）、建立偏序（Partial Order Construction）、問題選擇（Question Selection）、容錯處理（Error Tolerance）。

實體集劃分的目的是將同類的實體聚類到一個集合，實體對齊只在集合內部進行，集合之間不進行對齊操作。實體集劃分的依據是屬性，通常同一類實體的屬性是相似的。 偏序定義如下：

建立偏序的目的在于找出最具有推理期望（Inference Expectation）的實體對，偏序集實例如下：

其中，如果 P11 被判斷為 Unmatch，則所有偏序小于 P11 的節點都可以推斷為 unmatch。反之，如果 P45 被推斷為 Match，則所有偏序大于 P45 的節點都可以推斷為 Match。推理期望公式如下：

其中，pre 和 suc 分別表示前驅和后繼節點。

對于問題選擇，文章提出了兩個貪心算法，分別為一次選一個節點以及一次選多個節點。算法如下：

3. Experiment

數據集：Yago，DBPedia

對比方法：PARIS，PBA

眾包平臺：ChinaCrowds

評估問題選擇方法：

可以看到，兩個貪心算法差別不大，但是比隨機選擇性能好。

評估問題集大小：

隨著問題集合的增加，較精確率、召回率、F 值均有提升。

評估實體對齊結果：

實驗表明，各項評估指標具有提升，證實了人機協作的有效性，但是 MQS 算法復雜度太高，導致運行時間過長。

ACL 2017

?

論文 | Learning with Noise: Enhance Distantly Supervised Relation Extraction with Dynamic Transition Matrix

鏈接 | https://www.paperweekly.site/papers/1529

解讀 | 王冠穎，浙江大學碩士

1. 動機

Distant supervision 是一種生成關系抽取訓練集的常用方法。它把現有知識庫中的三元組 <e1,r, e2=””>作為種子，匹配同時含有 e1 和 e2 的文本，得到的文本用作關系 r 的標注數據。這樣可以省去大量人工標記的工作。

但是這種匹配方式會產生很多噪音：比如三元組 <donaldtrump, born-in,=”” new=”” york=””>，可能對齊到『Donald Trump was born in New York』，也可能對齊到『DonaldTrump worked in New York』。

其中前一句是我們想要的標注數據，后一句則是噪音數據（并不表示 born-in）。如何去除這些噪音數據，是一個重要的研究課題。

2. 前人工作

第一種方法是通過定義規則過濾掉一些噪音數據，缺點是依賴人工定義，并且被關系種類所限制。

另一種方法則是 Multi-instancelearning，把訓練語句分包學習，包內取平均值，或者用 attention 加權，可以中和掉包內的噪音數據。缺點是受限于 at-least-one-assumption：每個包內至少有一個正確的數據。

可以看出前人主要思路是『去噪』，即降低噪聲數據的印象。這篇文章提出用一個噪音矩陣來擬合噪音的分布，即給噪音建模，從而達到擬合真實分布的目的。

3. 模型

其中 1 和 2 是普通的關系抽取模型過程，3 和 4 是噪音擬合的過程。

transition matrix 是一個轉移矩陣，大小為 n * n，n 是關系種類的數目。T_ij 的元素的值是 p( j| i )，即該句子代表關系為 i，但被誤判為 j 的概率。 這樣我們就可以得到：

× =

其中，predicted 是我們想要的真實分布，observed 是我們觀測到的噪音分布，這樣就可以用噪音數據進行聯合訓練了。

3.1 全局轉移矩陣 & 動態轉移矩陣

Global transition matrix 在關系層面上定義一個特定的轉移矩陣，比如：

屬于 A 關系的句子，被誤判為 B 關系的概率是恒定的。 Dynamic transition matrix 是在句子層面上定義的，即使同屬于 A 關系，a1 句子和 b1 句子被誤判成 B 關系的概率也不同。

比如下面兩句話，帶有 old house 的被誤判成 born-in 的概率更大。

動態轉移矩陣更有優勢，粒度更細。

3.2 訓練方法

如果單純用 observed 的 loss，會出現問題，因為在初始化的時候，我們并不能保證 p 一定擬合真實分布，轉移矩陣也沒有任何先驗信息，容易收斂到局部最優。

因此，文中用 curriculum learning 進行訓練：

trace 是轉移矩陣的跡，用于控制訓練過程中噪音的作用，是矩陣的正則項。在沒有噪音的情況下，矩陣是一個單位矩陣，跡較大，此時矩陣沒有效果。跡越小，矩陣施加的效果越明顯。

curriculum learning 的步驟：

初始階段，alpha 為 1，beta 取一個很大的值，只學習 p 分布，讓 p 獲得關系判定的能力； 后續階段，逐漸減小 alpha 和 beta，強化矩陣的作用，學習噪音分布 o，最后獲得真實的 p 分布和噪音 o 分布。

這樣通過調控過程，就可以避免學習出無意義的局部最優值了。

3.3 先驗知識

可以給矩陣增加一些先驗知識，比如在 timeRE 的數據集上，根據時間粒度，對數據集進行可信度劃分，先訓練可信數據，再訓練噪音數據，這樣可以優化最終的訓練結果。

4. 實驗結果

作者在 timeRE 和 entityRE (NYT) 上均進行了訓練，取得了降噪的 state-of-art。具體分析結果可以參照論文。

AAAI 2017

論文 | Distant Supervision for Relation Extraction with Sentence-level Attention and Entity Descriptions

鏈接 | https://www.paperweekly.site/papers/179

解讀 | 劉兵，東南大學博士

1. 論文動機

關系抽取的遠程監督方法通過知識庫與非結構化文本對其的方式，自動標注數據，解決人工標注的問題。但是，現有方法存在無法選擇有效的句子、缺少實體知識的缺陷。

無法選擇有效的句子是指模型無法判斷關系實例對應的句子集（bag）中哪個句子是與關系相關的，在建模時能會將不是表達某種關系的句子當做表達這種關系的句子，或者將表達某種關系的句子當做不表達這種關系的句子，從而引入噪聲數據。

缺少實體知識是指，例如下面的例句種，如果不知道 Nevada 和 Las Vegas 是兩座城市，則很難判斷他們知識是地理位置上的包含關系。

[Nevada] then sanctioned the sport , and the U.F.C. held its first show in [Las Vegas] in September 2001.

本文為了引入更豐富的信息，從 Freebase 和 Wikipedia 頁面中抽取實體描述，借鑒表示學習的思想學習得到更好的實體表示，并提出一種句子級別的注意力模型。

本文提出的模型更好地實現注意力機制，有效降低噪聲句子的影響，性能上達到當前最優。

2. 論文貢獻

文章的貢獻有：

引入句子級別的注意力模型來選擇一個 bag 中的多個有用的句子，從而充分利用 bag 種的有用信息；

使用實體描述來為關系預測和實體表達提供背景信息；

實驗效果表面，本文提出的方法是 state-of-the-art 的。

3. 論文方法

本文的方法包括三個部分：句子特征提取、實體表示和 bag 特征提取。

句子特征提取模型結構如下圖（a）所示，模型流程如下：

使用詞向量和位置向量相連接作為單詞表示，句子的詞表示序列作為模型的輸入；

使用卷積神經網絡對輸入層提取特征，然后做 piecewise 較大池化，形成句子的特征表示。

實體表示在詞向量的基礎上，使用實體描述信息對向量表示進行調整，形成最終的實體向量表示。

模型主要思想是，使用 CNN 對實體的描述信息進行特征提取，得到的特征向量作為實體的特征表示，模型的訓練目標是使得實體的詞向量表示和從描述信息得到的實體特征表示盡可能接近。

Bag 特征提取模型的關鍵在句子權重學習，在得到 bag 中每個句子的權重后，對 bag 中所有句子的特征向量進行加權求和，得到 bag 的特征向量表示。

模型中用到了類似 TransE 的實體關系表示的思想：e1+r=e2。使用（e2-e1）作為實體間關系信息的表達，與句子特征向量相拼接，進行后續的權重學習。

Bag 特征提取模型如上圖（b）所示：

使用 bag 中的所有句子的特征向量表示，結合 e2-e1方式得到的關系表示，作為模型的輸入；

利用權重學習矩陣，得到每個句子的權重；

對句子進行加權求和，得到 bag 的最終表示。

4. 實驗

文章在遠程監督常用的數據集（Rediel 2010）上，按照常規的遠程監督的實驗思路，分別進行了 heldout 和 manual 實驗。

Heldout 實驗即使用知識庫中已有的關系實例標注測試集，驗證模型的性能，結果如下面的 Precision-Recall 圖所示，超過其他較好的方法。

Manual 實驗對知識庫中不存在的關系實例進行預測，然后使用人工標注預測結果的正確性，使用 top-K 作為評測指標，結果如下表所示，本文提出的方法也達到了當前較好的效果。

此外，實驗還通過 case study，研究了模型對于 bag 中每個句子的注意力分配效果，表明本模型可以有效地區分有用的句子和噪聲句子，且本文的引入實體描述可以使得模型得到更好的注意力分配。

IJCAI 2017

論文 | Dynamic Weighted Majority for Incremental Learning of Imbalanced Data Streams with Concept Drift

鏈接 | https://www.paperweekly.site/papers/1530

解讀 | 鄧淑敏，浙江大學 2017 級直博生

1. 論文動機

數據流中發生的概念漂移將降低在線學習過程的準確性和穩定性。如果數據流不平衡，檢測和修正概念漂移將更具挑戰性。目前已經對這兩個問題分別進行了深入的研究，但是還沒有考慮它們同時出現的情況。

在本文中，作者提出了一種基于塊的增量學習方法，稱為動態加權多數增量學習（DWMIL）來處理具有概念漂移和類不平衡問題的數據流。DWMIL 根據基分類器在當前數據塊上的性能，對基分類器進行動態加權，實現了一個整體框架。

2. Algorithm & Ensemble Framework

算法的輸入：在時間點 t 的數據 D^(t)={xi belongs to X,yi belongs to Y}, i=1,…,N, 刪除分類器的閾值 theta, 基分類器集合 H^(t-1)={H^(t-1)_1,…,H^(t-1)_m}, 基分類器的權重 w^(t-1), 基分類器的數量 m, 集成的規模大小 T。

Step 1：通過集成分類器對輸入的進行預測。

Step 2：計算當前輸入的數據塊在基分類器上的錯誤率 epsilon^t_j，并更新基分類器的權重。

Step 3：移除過時的分類器（權重值小于閾值 theta）并更新基分類器數量。

Step 4：構建新的分類器并對其初始化。

算法的輸出：更新的基分類器集合 H^(t), 基分類器的權重 W^(t)，基分類器的數量 m，目標預測值 bar_y。

本文的算法如下圖所示：

3. Experiments

本文選取了 4 個合成、2 個真實的均具有概念漂移的數據集。并且在集合方法、自適應方法、主動漂移檢測方法中各選取了一個具有代表性的作為 baseline，分別是：Learn++.NIE(LPN)、Recursive Ensemble Approach (REA)、Class-Based ensemble for Class Evolution(CBCE)，并與 Dynamic Weighted Majority (DWM) 也進行了比較。

對具有概念漂移的合成數據集和實際數據集的實驗表明，DWMIL 與現有技術相比，性能更好，計算成本更低。

4. Comparisons

與現有方法相比，其優點在于以下 4 點：

能夠使非偏移的數據流保持穩定，快速適應新的概念；

它是完全增量的，即不需要存儲以前的數據；

模型中保持有限數量的分類器以確保高效；

簡單，只需要一個閾值參數。

DWMIL 與 DWM 相比：

在學習數據流的過程中，DWMIL 和 DWM 都保留了一些分類器。但是，在決定是否創建一個新的分類器時，DWM 的依據是單個樣本的預測性能。如果數據不平衡，則樣本屬于多數類的概率比少數類的高得多，并且對多數類樣本錯誤分類的概率較低。

因此，DWM 在不平衡數據流上創建新分類器的機會很低。事實證明，它可能無法有效地適應新的概念。相比之下，DWMIL 為每個數據塊創建一個新的分類器，以及時學習新的概念。

在決定是否移除一個過時或低效的分類器時，DWM 中分類器的權重通過固定的參數β減少，并且在歸一化之后再次減小。

相反，DWMIL 根據性能降低了權重，沒有任何標準化。因此，如果當前概念與創建分類器的概念類似，則分類器可以持續更長時間來對預測做出貢獻。

DWMIL 與 Learn++ 相比：

Learn++ 和 DWMIL 都是為每個數據塊創建分類，并使用分類錯誤率來調整權重。

但是，關于降低在過去的數據塊上訓練的分類器的權重這一問題，Learn++ 使用了時間衰減函數 σ。這個 σ 取決于兩個自由參數：a 和 b，其中不同的值會產生不同的結果。在 DWMIL 中，減重僅取決于沒有自由參數的分類器的性能。

關于分類器權重的影響因素，在 Learn++ 中，權重不僅取決于當前數據塊，還取決于創建的分類器到當前數據塊的數據塊。在這種情況下，可能會產生偏差。

具體來說，如果一個分類器在其創建的數據塊上表現得非常好，它將在接下來幾個數據塊中持續獲得更高的權重。如果概念發生變化，那么在舊概念上訓練的分類器的高權重將降低預測效果。

關于分類器的性能，Learn++ 會保留所有的分類器。如果數據流很長，累積的分類器會增加計算負擔，因為它需要評估當前分塊上所有過去的分類器的性能。相比之下，DWMIL 放棄了過時或無用的分類器來提高計算效率。

筆者認為，這篇文章的主要創新點在于：用數據塊的輸入代替傳統的單一樣本輸入，使得模型可以更快地對概念漂移作出反應；通過對分類器性能的檢測，動態調整它們的權重，并及時剔除過時或低效的分類器，使得模型比較高效。

AAAI 2018

論文 | Reinforcement Learning for Relation Classification from Noisy Data

鏈接 | https://www.paperweekly.site/papers/1260

解讀 | 周亞林，浙江大學碩士

1. 論文動機

Distant Supervision 是一種常用的生成關系分類訓練樣本的方法，它通過將知識庫與非結構化文本對齊來自動構建大量訓練樣本，減少模型對人工標注數據的依賴。

但是這樣標注出的數據會有很多噪音，例如，如果 Obama 和 United States 在知識庫中的關系是 BornIn，那么“Barack Obama is the 44th President of the United States.”這樣的句子也會被標注為 BornIn 關系。

為了減少訓練樣本中的噪音，本文希望訓練一個模型來對樣本進行篩選，以便構造一個噪音較小的數據集。模型在對樣本進行篩選時，無法直接判斷每條樣本的好壞，只能在篩選完以后判斷整個數據集的質量，這種 delayed reward 的情形很適合用強化學習來解決。

2. 模型

模型框架如圖所示，左邊是基于強化學習的 Instance Selector，右邊是經典的基于 CNN 的 Relation Classifier。

Instance Selector 根據 Policy function 對樣本逐個篩選，每個樣本都可以執行“選”或“不選”兩種 Action，篩選完以后會生成一個新的數據集。

我們用 Relation Classifier 來評估數據集的好壞，計算出一個 reward，再使用 policy gradient 來更新 Policy function 的參數，這里的 reward 采用的是數據集中所有樣本的平均 likelihood。

為了得到更多的反饋，提高訓練效率，作者將樣本按照實體對分成一個個 bag，每次 Instance Selector 對一個 bag 篩選完以后，都會用 Relation Classifier 對這部分數據集進行評估，并更新 Policy function 的參數。

在所有 bag 訓練完以后，再用篩選出的所有樣本更新 Relation Classifier 的參數。 具體訓練過程如下：

3. 實驗

論文在 NYT 數據集上與目前主流的方法進行了比較，注意這里是 sentence-level 的分類結果，可以看到該方法取得了不錯的效果。

論文分別在原始數據集和篩選以后的數據集上訓練了兩種模型，并用 held-out evaluation 進行評估，可以看出篩選以后的數據集訓練出了更好的關系分類模型。

作者又比較了使用強化學習和 greedy selection 兩種篩選樣本的方法，強化學習的效果更好一些。

AAAI 2017

論文 | Leveraging Knowledge Bases in LSTMs for Improving Machine Reading

鏈接 | https://www.paperweekly.site/papers/1531

解讀 | 李娟，浙江大學博士生

這篇論文是今年發表在 ACL 的一篇文章，來自 CMU 的工作，提出通過更好地利用外部知識庫的方法解決機器閱讀問題。

由于傳統方法中用離散特征表示知識庫的知識存在了特征生成效果差而且特征工程偏特定任務的缺點，本文選擇用連續向量表示方法來表示知識庫。

傳統神經網絡端到端模型使得大部分背景知識被忽略，論文基于 BiLSTM 網絡提出擴展網絡 KBLSTM，結合 attention 機制在做任務時有效地融合知識庫中的知識。

論文以回答要不要加入 background knowledge，以及加入哪一些信息兩部分內容為導向，并借助以下兩個例子說明兩部分內容的重要性。

“Maigretleft viewers in tears.”利用背景知識和上下文我們可以知道 Maigret 指一個電視節目，“Santiago is charged withmurder.”如果過分依賴知識庫就會錯誤地把它看成一個城市，所以根據上下文判斷知識庫哪些知識是相關的也很重要。

KBLSTM（Knowledge-aware Bidirectional LSTMs）有三個要點：

檢索和當前詞相關的概念集合V（x_t）

attention 動態建模語義相關性

sentinel vector S_t 決定要不要加入 background knowledge

主要流程分兩條線：

1. 當考慮背景知識的時候就把 knowledge module 考慮進去；

2. 如果找不到和當前詞相關的概念則設置 m_t 為 0，直接把 LSTM 的 hidden state vector 作為最后的輸出。

后者簡單直接，這里說明前者的結構。knowledge module 模塊把 S_t、h_t、V(x_t) 作為輸入，得到每個候選知識庫概念相對于 h_t 的權重 α_t，由 S_t 和 h_t 得到 β_t 作為 S_t 的權重，最后加權求和得到 m_t 和 h_t 共同作為輸入求最后輸出，這里通過找相關概念和相關權重決定加入知識庫的哪些知識。

論文用 WordNet 和 NELL 知識庫，在 ACE2005 和 OntoNotes 數據集上做了實體抽取和事件抽取任務。兩者的效果相對于以前的模型都有提升，且同時使用兩個知識庫比任選其一的效果要好。

來源：數盟

精彩活動

福利 · 閱讀 | 免費申請讀大數據新書 第23期

推薦閱讀

2017年數據可視化的七大趨勢！?

全球100款大數據工具匯總（前50款）?

論大數據的十大局限

大數據時代的10個重大變革

大數據七大趨勢 第一個趨勢是物聯網

Q:?最近你還看過哪些優秀的論文？

歡迎留言與大家分享

請把這篇文章分享給你的朋友

轉載 / 投稿請聯系：hzzy@hzbook.com

更多精彩文章，請在公眾號后臺點擊“歷史文章”查看

總結

以上是生活随笔為你收集整理的「知识图谱」领域近期值得读的 6 篇顶会论文的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。