最新综述！基于图神经网络的关系抽取技术进展
關(guān)系抽取任務是為了預測文本中兩個實體中的語義關(guān)系，是 NLP 中的重要任務。基于圖的模型由于其在關(guān)系推理中的有效性和強度而被廣泛采用，許多研究依賴于外部解析器將文本序列轉(zhuǎn)換為依賴樹來初始化圖，但是，解析器產(chǎn)生的錯誤會傳播到圖中。本文主要介紹如何直接從文本中構(gòu)建圖來避免上述問題，將通過三篇頂會文獻綜述基于對話文本的關(guān)系抽取最新進展。
GDPNet
論文標題：
GDPNet: Refining Latent Multi-View Graph for Relation Extraction
收錄會議：
AAAI 2021
論文鏈接：
https://www.aaai.org/AAAI21Papers/AAAI-3290.XueF.pdf
代碼鏈接：
https://github.com/XueFuzhao/GDPNet
1.1 論文工作
由于基于 BERT 等序列模型與基于圖模型算法是關(guān)系抽取任務的研究前沿，這篇文獻構(gòu)造了利用潛在的多視圖來捕獲 token 之間各種可能的關(guān)系，隨之對這個圖進行精煉以選擇重要的詞進行關(guān)系預測，最后將改進的圖表示和基于 BERT 模型的表示連接起來進行關(guān)系抽取。
論文的重要創(chuàng)新點在于提出了 GDPNet （Gaussian Dynamic Time Warping Pooling Net），利用高斯圖生成器 （Gaussian Graph Generator, GGG）來產(chǎn)生多視圖的邊，這個圖通過 Dynamic Time Warping Pooling （DTWPool）來精煉。
1.2 論文方法
GDPNet 的總體架構(gòu)如圖 1 的左側(cè)所示。其中有三個關(guān)鍵組件：BERT 模塊、圖模塊和 SoftMax 分類器。BERT 模塊將 token 編碼為相應的特性表示形式。如圖 1 的右側(cè)所示，圖模塊從 BERT 中獲取 token 表示，并使用高斯圖生成器構(gòu)造一個多視圖。然后通過圖卷積和 DTWPool 的多次交互來細化圖。最后，將改進后的潛在圖輸入 SoftMax 分類器預測關(guān)系類型。
1.2.1 BERT Module
論文使用 BERT 作為特征編碼器來提取 token 表示，將序列 映射為 BERT 的輸入序列，，對應的 BERT 產(chǎn)生的 token 表示為 ，在 GDPNet 中，通過圖模塊充分利用了整個 token 表示。
1.2.2 Graph Module
圖模塊由高斯圖生成器 (GGG)、多層圖卷積和 DTWPool 組成。GGG 用于生成潛在的多視圖，而圖卷積和 DTWPool 層用于圖的精煉。
1.2.2.1 Gaussian Graph Generator
BERT 模塊中的 部分用來生成多視圖用以建模 token 之間的關(guān)系。論文使用潛在圖的初始節(jié)點表示 ，其中每個節(jié)點表示對應于 token 表示，接著，基于 利用 GGG 初始化多視圖的邊。具體來說，首先將每個節(jié)點 編碼為多個高斯分布如下:
與 表示兩個可訓練的神經(jīng)網(wǎng)絡(luò)， 表示非線性激活函數(shù)， 表示多視圖中的視圖數(shù)量。對于多視圖的第 個試圖會得到一些高斯分布 ，每個高斯分布會對應于節(jié)點表示 。論文使用高斯分布之間 KL 散度來建模邊的關(guān)系：
在計算每個視圖節(jié)點邊的關(guān)系之后，會得到多個鄰接矩陣 ，因此多視圖可以表示為 。
1.2.2.2 Multi-view Graph Convolution
多視圖卷積記為:
是初始節(jié)點表示和子層生成的節(jié)點表示的串聯(lián)特征。
1.2.2.3 Dynamic Time Warping Pooling
在圖卷積通過消息傳播更新節(jié)點表示后，引入 Dynamic TimeWarping Pooling （DTWPool）來精煉潛在多視圖。首先利用 SAGPool 來計算每個視圖的注意力系數(shù)：
對于潛在多視圖中的第 n 個視角，會得到分數(shù)集 ，論文保留了 SAGPool 的節(jié)點選擇方法，即使在圖的大小和結(jié)構(gòu)發(fā)生變化時，也保留了輸入圖中的一部分節(jié)點。在節(jié)點選擇之后，第 個視角保留的節(jié)點是 的子集，因為潛在圖通常有多個視角，所以會發(fā)現(xiàn)多個 不同的子集。
由于多視圖的特性，DTWPool 通過從不同視圖獲取節(jié)點的聯(lián)合集，自適應地對圖進行了細化：
其中 是從所有不同視圖中選擇的子集的并集。在圖模塊中，論文對圖卷積和 DTWPool 進行迭代操作，從而得到一個圖序列 。
信息節(jié)點的數(shù)量在不同的文本序列中是不同的。在圖的池化過程中，保持重要信息是很重要的。這個圖中的節(jié)點嵌入了豐富的上下文信息，因此將上下文總結(jié)到 pooling 節(jié)點中是有益的。為了這個目的，作者提出了使用 SoftDTW 來指導圖池化操作。SoftDTW 是一個可微分的損失函數(shù)，用于尋找不同長度的兩個序列之間可能的最佳對齊方式：
在 GDPNet 中，論文利用 SoftDTW 損耗最小化原始圖與最后池化圖之間的距離：
使用 SoftDTM 損失，DTWPool 可以在不丟失大量上下文信息的情況下細化圖。
為了最小化信息損失，論文將池化過程中創(chuàng)建的中間圖的節(jié)點表示連接起來，從而得到最終的圖 ，類似于學習圖的殘差連接。由于池中的圖具有不同的大小，論文對所有節(jié)點只連接其中的節(jié)點表示，因此，最終圖 的節(jié)點與 1 相同。
1.2.3 Classifier
給定最終的圖 ，論文采用最大池的神經(jīng)網(wǎng)絡(luò)來計算圖的表示。然后將計算的表示與 [CLS] 令牌 的表示連接起來，形成最終的表示。
1.3 實驗
論文提出的 GDPNet 可以應用于句子級和對話級的 RE 任務。由于數(shù)據(jù)格式、適用的基線模型以及處理主體和客體實體 和 的方式的不同，論文進行了兩組實驗，將 GDPNets 和 SoTA 模型在兩項任務上進行了比較。表 2 與表 5 總結(jié)了在 DialogRE 和 TACRED 上的結(jié)果。論文還展示了如何容易地修改 GDPNet，如表 4 所示，以便在每個任務上與 SoTA 模型進行公平比較。
SOLS
論文標題：
Speaker-Oriented Latent Structures for Dialogue-Based Relation Extraction
收錄會議：
EMNLP 2021
論文鏈接：
https://arxiv.org/abs/2109.05182
2.1 論文工作
由于基于對話的關(guān)系抽取（Dialogue-based relation extraction ，DiaRE）任務涉及多個說話人，會存在邏輯糾纏和信息稀疏的問題。為了解決這一問題，論文提出了 Speaker-Oriented Latent Structures（SOLS），可以明確地誘發(fā)說話人導向的潛在結(jié)構(gòu)，以獲得更好的 DiaRE。在學習過程中，論文針對說話人的正則化方法逐步突出與說話人相關(guān)的關(guān)鍵線索，并刪除無關(guān)線索，緩解了信息稀疏性問題。
2.2 論文方法
該模型旨在通過探索面向說話者的潛在結(jié)構(gòu)來獲得更好的 DiaRE。論文提出的模型有四個模塊：
1. 對話編碼器（Dialogue Encoder）使用對話作為輸入，輸出是語境的相關(guān)表示。
2. 上下文化的表示將被輸入到 SOLS 誘導器（SOLS Inducer）中，以自動生成兩個面向說話者的潛在結(jié)構(gòu)和一個新的正則化項，旨在緩解糾纏的邏輯和數(shù)據(jù)稀疏問題。
3. 然后將潛在結(jié)構(gòu)饋給 SOLS 編碼器（SOLS Encoder），該編碼器是一個圖卷積網(wǎng)絡(luò)（GCN），主要用于信息聚合。
4. 分類器（Classifier）。
2.2.1 Dialogue Encoder
表示一個對話擁有 n 個 token 和 m 個話語 ，然后將 視為一個長的序列，并將它送入對話編碼器，例如 BiLSTM，或者基于預訓練的 BERT 模型，來產(chǎn)生上下文的語境表示 。
2.2.2 SOLS Inducer
SOLS 的直覺是學習一種潛在的對話結(jié)構(gòu)，能夠找出與說話者相關(guān)的語境，而忽略不相關(guān)或不太相關(guān)的語境。論文使用離散-連續(xù)分布通過采樣邊緣分數(shù)接近 0 或 1 來明確學習面向說話者的對話結(jié)構(gòu)。因此，將圖中的邊緣分數(shù)視為一個門，接近 1 或 0 的分數(shù)分別表示打開或關(guān)閉兩個令牌之間的連接。直觀上，分數(shù)值接近 1 表示兩個符號之間有很強的關(guān)系。
2.2.2.1 Sampling a Gate?
取樣器主要有四個模塊，主要包括 MLP 模塊、分布生成器、Stretcher & Rectifier 和門生成器。
對于每個 令牌對，MLP 模塊將它們的表示作為輸入，并執(zhí)行非線性轉(zhuǎn)換 ，并輸出標量值 ，。
分布生成器構(gòu)造了一個 Binary Concrete（BC）分布，，BC 分布是由連續(xù)離散隨機變量組成的，基于 Gumbel-Max 方法。使用 來控制概率質(zhì)量使 BC 分布向 0 或向 1 傾斜，分別在負和正的位置。從這樣的分布中采樣值類似于生成一個門，可以打開或關(guān)閉兩個令牌之間的連接。
由于 BC 的隨機條件，是由之前步驟生成的，因此定義為（0,1）開區(qū)間，值 0 和 1 不能被采樣到。因此，作者依靠 Hard Concrete（HC）分布將采樣從開區(qū)間拓展到閉區(qū)間。
最后，從 HC 分布中對于第 和第 個 token 采樣一個分數(shù) ：
2.2.3 Speaker-Oriented Structures
2.2.3.1 Latent Structure
依據(jù)以上的步驟，在對話 中，論文采樣每一對節(jié)點的門來構(gòu)建圖 ，對于目標關(guān)系，為每個 speaker 生成兩個不同的圖，直觀的說，每個圖將不依賴于話語邊界強調(diào)每個說話者不同 token 之間的特定的潛在依賴關(guān)系。圖 4 展示了對于兩個說話者如何產(chǎn)生兩個結(jié)構(gòu)。
直接將兩個圖輸入 GCNs 可能會為關(guān)系分類引入噪聲，因為對話中的許多上下文可能與關(guān)系分類任務無關(guān)。
2.2.3.2 Controlled Sparsity
為了緩解這個問題，在兩個圖誘導過程中引入正則化損失 來突出關(guān)鍵線索，同時丟棄不相關(guān)的連接，從而最小化要選擇的上下文標記的數(shù)量。 可以看錯可控的稀疏機制以完全可微的方式使兩個圖中預測的非零數(shù)最小化。
2.2.4 SOLS Encoder
對于兩個鄰接矩陣 與，論文使用 GCN 作為圖編碼器來進行信息聚合，對于第 層，第 個節(jié)點的卷積操作，使用之前層的輸出 作為卷積的輸入并更新表示：
對兩個說話者使用相同的 GCN，并獲得更新的上下文化對話表示：
2.2.5 Classifier and Loss Function
作者使用 MLP 作為分類器來預測目標參數(shù)對 之間的關(guān)系：
整體的損失可以被計算為：
2.3 實驗
2.3.1 Dataset
主要用了三個數(shù)據(jù)集：
1. dialogue - English version，為第一個來自美國著名喜劇《老友記》的人類注釋對話級別 RE 數(shù)據(jù)集；
2. DialogRE Chinese version，翻譯自 DialogRE-EN；
3. Medical Information Extractor（MIE），涉及從一個中國醫(yī)療咨詢網(wǎng)站收集的醫(yī)患對話。
2.3.2 Main Results
論文將提出的 SOLS 方法與如下所述的各種基線進行比較，主要有以下四種方法：
Sequence-based Models
Rule-based Graph Models
Latent Graph Models
BERT-based Models
表 2 總結(jié)了 DialogRE-EN 和 DialogRE-CN 數(shù)據(jù)集? 和? 評分的結(jié)果。在 MIE 數(shù)據(jù)集上，表 3 表明，在相同的基于 bert 的編碼器下，SOLS 獲得了最好的結(jié)果，進一步證明了潛在結(jié)構(gòu)的有效性。
DRE
論文標題：
Dialogue Relation Extraction with Document-Level Heterogeneous Graph Attention Networks
論文鏈接：
https://arxiv.org/pdf/2009.05092.pdf
代碼鏈接：
https://github.com/declare-lab/dialog-HGAT
3.1 論文工作
論文提出了一種基于注意力機制的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)的 DRE 方法，其中圖包含有意義連接的說話人、實體、類型和話語節(jié)點。該圖被送到圖注意力網(wǎng)絡(luò)，用于相關(guān)節(jié)點之間的上下文傳播，有效地捕獲對話上下文。
3.2 論文方法
在這項工作中，論文引入了一個基于注意的圖網(wǎng)絡(luò)來解決每個對話都被表示為異構(gòu)圖的問題。
1. 首先利用一個由兩個雙向長短期記憶網(wǎng)絡(luò)組成的語音編碼器對會話信息進行編碼。這些話語編碼，連同單詞嵌入、說話者嵌入、論點嵌入和類型嵌入，在邏輯上連接起來，形成一個異構(gòu)。
2. 該圖通過五個圖注意層，這些注意層聚合了來自鄰近節(jié)點的信息。
3. 將學習到的參數(shù)嵌入連接起來，并將其提供給一個分類器。
3.2.1 Utterance Encoder
對于對話 ，利用 GloVe 來初始化詞嵌入，并且將其送入 BiLSTM 模型以得到上下文的語境表示。BiLSTM 的操作可以定義為：
與之前的方法不同，在話語編碼中只采用語義語境特征，我們在語境表示中添加句法特征，如 POS 標簽 和命名實體類型 。在話語中每個 token 的嵌入可以描述為：
3.2.2 Graph Construction
3.2.2.1 Node Construction
論文設(shè)計了一個包含五種節(jié)點的異構(gòu)圖網(wǎng)絡(luò)：話語節(jié)點（utterance nodes）、類型節(jié)點（type nodes）、詞節(jié)點（word nodes）、說話者節(jié)點（speaker nodes）和參數(shù)節(jié)點（argument nodes）。每種類型的節(jié)點用于在對話框中編碼一種類型的信息。在該任務中，只有詞節(jié)點、說話者節(jié)點和論點節(jié)點可能會參與最終的分類過程。
話語節(jié)點是由 Utterance Encoder得到的話語嵌入初始化的，與構(gòu)成話語的基本節(jié)點相連。類型節(jié)點表示話語中單詞的實體類型，其中包括各種命名實體和數(shù)字實體，由于在一個對話中可能有不同的類型，類型節(jié)點可以促進信息集成。
單詞節(jié)點表示會話的詞匯表。每個單詞節(jié)點都與包含單詞的話語相連接，它也與單詞在對話中可能存在的所有類型相連接，論文使用 GloVe 初始化單詞節(jié)點的狀態(tài)。
說話人節(jié)點表示對話中每個唯一的說話人。每個說話人節(jié)點都與說話人自己發(fā)出的話語相連接。這種類型的節(jié)點是用一些特定的嵌入進行初始化的，可以從不同的說話者那里收集信息。
參數(shù)節(jié)點是兩個特殊的節(jié)點，用于編碼參數(shù)對的相對位置信息。每個圖中總共有兩個參數(shù)節(jié)點。一個代表主語參數(shù)，另一個代表賓語參數(shù)。
3.2.2.2 Edge Construction
論文所提出的圖是無向的，但是傳播是有方向的，其中有五種類型的邊，分別是 utterance-word，utterance-argument，utterance-speaker，type-word 和? type-argument 邊。每個邊有特定的類型，除了 utterance-word 之外，其余邊會被隨機初始化。對于 utterance-word 之間的邊，論文采用 POS 標簽來初始化邊緣特征。
3.2.2.3 Graph Attention Mechanism
論文使用圖注意機制將鄰近信息聚合到目標節(jié)點，圖注意機制可以描述為：
3.2.2.4 Message Propagation
如圖2所示，論文提出的圖模塊中有五層，每一層代表一個聚合。在圖中標記了四種類型的層。LayerA 和 LayerD 包含話語節(jié)點和基本節(jié)點之間的消息傳播，LayerB 和 LayerC 同樣是基本節(jié)點和類型節(jié)點之間的消息傳播。將整個消息傳播路徑稱為元路徑。不同的元路徑策略可能導致不同的性能。元路徑消息傳播路徑可以被表示為 ，，， 表示 utterance nodes，basic nodes，和 type nodes。
使用殘差連接機制避免梯度消失：
并經(jīng)過兩層的前向傳遞網(wǎng)絡(luò)：
假設(shè)嵌入矩陣主要包含話語節(jié)點、基本節(jié)點和類型節(jié)點的初始嵌入：
消息傳播過程可以寫成：
3.2.3 Relation Classifier
在異構(gòu)圖中傳播消息后，得到所有實體的新表示。
表示給定參數(shù)對關(guān)系類型的概率。
3.3 實驗
3.3.1 Dataset
論文使用 DialogRE 數(shù)據(jù)集，數(shù)據(jù)統(tǒng)計如下表所示：
3.3.2 Result and Analysis
如表 2 所示，模型在驗證和測試集上都比最先進的方法高出 9.6%/7.5% 的 分數(shù)，8.4%/5.7%的 分數(shù)，這表明了在異質(zhì)圖中沿著特定任務功能元路徑的信息傳播的有效性。
為了理解模型組件的影響，論文使用模型在 DialogRE 數(shù)據(jù)集上執(zhí)行 ablation study，結(jié)果見表 3。
論文還通過更改元路徑策略來測試消息傳播策略的性能，
Strategy1：作者只建立了一個 LayerA，其中基本節(jié)點由初始化的話語節(jié)點更新一次。
Strategy2：層的順序是 A-B-C-D-A-D-A。
Strategy3：層的順序是 A-B-C-D-A-B-C-D-A。
總結(jié)
這三篇文章主要集中于語句間的關(guān)系抽取任務，會存在實體間邏輯上關(guān)系接近但語法上距離比較遠的問題。可以看出通過語句內(nèi)容來構(gòu)建圖，并用圖神經(jīng)網(wǎng)絡(luò)來完成關(guān)系抽取任務已經(jīng)成為研究的趨勢。構(gòu)建圖的方法主要有基于依賴樹、基于詞嵌入向量與基于類型節(jié)點的連接關(guān)系，這三種方法各有優(yōu)勢。在圖神經(jīng)網(wǎng)絡(luò)的創(chuàng)新方面主要利用了圖卷積神經(jīng)網(wǎng)絡(luò)和圖注意力網(wǎng)絡(luò)，且第三篇文獻結(jié)合了異質(zhì)圖神經(jīng)網(wǎng)絡(luò)，來解決圖的分類問題。
特別鳴謝
感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關(guān)注大腦探知、大腦功能和大腦健康。
更多閱讀
#投 稿?通 道#
?讓你的文字被更多人看到?
如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學術(shù)熱點剖析、科研心得或競賽經(jīng)驗講解等。我們的目的只有一個，讓知識真正流動起來。
📝?稿件基本要求：
? 文章確系個人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺已發(fā)表或待發(fā)表的文章，請明確標注?
? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題
? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算
📬?投稿通道：
? 投稿郵箱：hr@paperweekly.site?
? 來稿請備注即時聯(lián)系方式（微信），以便我們在稿件選用的第一時間聯(lián)系作者
? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿
△長按添加PaperWeekly小編
🔍
現(xiàn)在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關(guān)注」訂閱我們的專欄吧
·
總結(jié)
以上是生活随笔為你收集整理的最新综述！基于图神经网络的关系抽取技术进展的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 80万二手房交多少税费 买方和卖方都需要
- 下一篇： SIGIR 2021 | 基于不确定性正