文章目錄

• abstract
• 1.introduction
• 2.相關(guān)工作
• • 2.1 關(guān)系提取
  • 2.2 KG embedding
  • 2.3 GCNN
• 3. 方法
• • 3.1符號
  • 3.2框架
  • • 3.2.1 Instance Encoder
  • 3.4 Relational Knowledge Learning through KG Embeddings and GCNs.
  • 3.5 knowledge-aware attention
• 4.實(shí)驗(yàn)
• • 4.1 數(shù)據(jù)集
  • 4.3 result
  • 4.4 長尾關(guān)系的處理
  • 4.5 ablation

Zhang, N., et al. (2019). Long-tail Relation Extraction via Knowledge Graph Embeddings and Graph Convolution Networks. NAACL.
大概是本文code

abstract

我們提出了一種用于長尾不平衡數(shù)據(jù)的遠(yuǎn)程監(jiān)督關(guān)系提取方法。這里的挑戰(zhàn)是為類分布尾部的類學(xué)習(xí)精確的few-shot模型，因?yàn)檫@些類的可用數(shù)據(jù)很少。受在尾巴的數(shù)據(jù)和在頂部的數(shù)據(jù)之間豐富的語義關(guān)聯(lián)的啟發(fā)，我們利用分布頂部數(shù)據(jù)豐富的類的知識來提高尾部數(shù)據(jù)貧乏類的性能。首先，我們提出利用知識圖嵌入的類標(biāo)簽間的隱式關(guān)系知識，利用圖卷積網(wǎng)絡(luò)學(xué)習(xí)顯式關(guān)系知識。其次，通過粗到細(xì)的知識感知注意機(jī)制，將關(guān)聯(lián)知識集成到關(guān)聯(lián)抽取模型中。我們展示了一個(gè)大型基準(zhǔn)數(shù)據(jù)集的結(jié)果，它表明我們的方法明顯優(yōu)于其他基線，特別是在長尾關(guān)系方面。

• 用于：長尾不平衡數(shù)據(jù)
  • long-tail:指的是類似正態(tài)分布的尾巴那一部分，也就是可用數(shù)據(jù)少
• 方法：遠(yuǎn)程監(jiān)督
• 挑戰(zhàn)：
  • long-tail的可用數(shù)據(jù)少
    • 目前的遠(yuǎn)程監(jiān)督方法都忽略了這個(gè)，所以難以從文本中提取全面的信息
    • long-tail不容忽略：NYT中70%都是(Riedel et al., 2010; Lei et al., 2018)
    • 如何在訓(xùn)練實(shí)例有限的情況下來學(xué)習(xí)？
• 啟發(fā)：long-tail數(shù)據(jù)和分布頂部的數(shù)據(jù)之間有豐富的語義關(guān)聯(lián)
• 解決：可以用頂部數(shù)據(jù)來提高尾部數(shù)據(jù)的performance
  • 如果語義上相似，就可以轉(zhuǎn)換
  • 這樣可以增強(qiáng)RE,縮小潛在的搜索空間，減少關(guān)系之間的不確定性(Ye et al.， 2017)
  • eg:如果一對實(shí)體包含/人/死者/死亡地點(diǎn)(多），很有可能包含/人/死者/埋葬地點(diǎn)（少）。
  • 存在兩個(gè)問題
    • 關(guān)系知識的學(xué)習(xí)：也可能導(dǎo)致負(fù)遷移
    • 利用關(guān)系知識：
      • 將關(guān)系知識集成到現(xiàn)有的RE模型也是一個(gè)挑戰(zhàn)
• 做法
  • 編碼器（Instance Encoder)：
    • 首先使用CNN（Zeng et al。，2014,2015）編碼
    • 輸入：一個(gè)實(shí)例及其實(shí)體提及對
    • 語義編碼為一個(gè)向量
  • 關(guān)系知識學(xué)習(xí)(Relation Knowledge Learning)：
    • 預(yù)訓(xùn)練的嵌入：以知識圖譜的嵌入來學(xué)習(xí)隱式關(guān)系知識
      • （Yang et al。，2015）：語義相近，嵌入相近
      • 使用 TransE (Bordes et al., 2013)
      • 將通用的消息傳遞推理算法與神經(jīng)網(wǎng)絡(luò)的對應(yīng)算法進(jìn)行同化–>得到更好的嵌入
    • 利用圖卷積網(wǎng)絡(luò)學(xué)習(xí)顯式關(guān)系知識
      • KGs:有多對一關(guān)系，數(shù)據(jù)稀疏–無足夠的關(guān)系信號
      • 用GCN來學(xué)習(xí)
    • 輸出：concate（GCN輸出，KG embedding)
  • knowledge-aware attention
    • 以從粗到細(xì)的注意力機(jī)制將關(guān)系知識和編碼句子注入到model中
    • 目標(biāo)：選擇與信息圈圈匹配的最informative instance
• 好處
  • 關(guān)系知識：
    • 為關(guān)系預(yù)測提供了更多信息
    • 為attention提供參考–提高long-tail的性能

1.introduction

關(guān)系抽取是信息抽取中的一項(xiàng)重要工作，其目的是根據(jù)兩個(gè)給定實(shí)體之間的相關(guān)上下文提取它們之間的關(guān)系。由于能夠提取文本信息，并使許多NLP應(yīng)用程序(如信息檢索、對話生成和問題回答)受益，因此重新吸引了許多研究人員。

• 傳統(tǒng)的監(jiān)督模型在這項(xiàng)任務(wù)中得到了廣泛的探索(Zelenko et al.， 2003;Zeng等，2014);然而，他們的表現(xiàn)在很大程度上取決于培訓(xùn)數(shù)據(jù)的規(guī)模和質(zhì)量。
• 遠(yuǎn)程監(jiān)督方法(Distant supervision,DS)
  • 用于：構(gòu)架大規(guī)模數(shù)據(jù)
  • (Mintz et al.， 2009)提出
    • KGs與文本對齊，來自動(dòng)標(biāo)記訓(xùn)練實(shí)例
  • (Wu et al.， 2017;Feng等，2018)

為了構(gòu)建大規(guī)模的數(shù)據(jù)，(Mintz et al.， 2009)提出了一種新的遠(yuǎn)程監(jiān)控(distance supervision, DS)機(jī)制，通過將現(xiàn)有的知識圖(knowledge graphs, KGs)與文本對齊，來自動(dòng)標(biāo)記訓(xùn)練實(shí)例。DS使RE模型能夠在大型培訓(xùn)語料庫上工作，因此成為RE最近的主要方法(Wu et al.， 2017;馮等，2018)。雖然這些DS模型在公共關(guān)系上取得了良好的效果，但當(dāng)某些關(guān)系的訓(xùn)練實(shí)例較少時(shí)，其性能仍然會(huì)急劇下降。從經(jīng)驗(yàn)上看，DS可以自動(dòng)標(biāo)注足夠數(shù)量的訓(xùn)練數(shù)據(jù);然而，這些數(shù)據(jù)通常只覆蓋關(guān)系的有限部分。許多關(guān)系都是長尾關(guān)系，數(shù)據(jù)仍然不足。目前的DS模型忽略了長尾關(guān)系問題，難以從純文本中提取出全面的信息。

• 目前的遠(yuǎn)程監(jiān)督方法都忽略了long-tail，所以難以從文本中提取全面的信息
• long-tail不容忽略：NYT中70%都是(Riedel et al., 2010; Lei et al., 2018)

處理長尾非常困難，因?yàn)榭捎玫挠?xùn)練示例很少。因此，將知識從數(shù)據(jù)豐富且語義相似的頭類轉(zhuǎn)移到數(shù)據(jù)貧乏的尾類是很自然的(Wang et al.， 2017)。例如，長尾關(guān)系/人/死者/埋葬地和頭關(guān)系/人/死者/死亡地屬于同一分支/人/死者/*，如圖2所示。它們在語義上是相似的，利用head關(guān)系知識并將其轉(zhuǎn)換為長尾關(guān)系是有益的，從而提高了總體性能。換句話說，一個(gè)實(shí)體元組的長尾關(guān)系可以有類關(guān)系和頭關(guān)系，在預(yù)測未知關(guān)系時(shí)，可以利用這類關(guān)系增強(qiáng)RE，縮小潛在的搜索空間，減少關(guān)系之間的不確定性(Ye et al.， 2017)。如果一對實(shí)體包含/人/死者/死亡地點(diǎn)，很有可能包含/人/死者/埋葬地點(diǎn)。如果能將兩種關(guān)系之間的關(guān)系知識結(jié)合起來，提取出頭部關(guān)系，將為長尾關(guān)系的預(yù)測提供依據(jù)。

• 分布頂部的關(guān)系–>long-tail的關(guān)系
  • 如果語義上相似，就可以轉(zhuǎn)換
  • 這樣可以增強(qiáng)RE,縮小潛在的搜索空間，減少關(guān)系之間的不確定性(Ye et al.， 2017)
  • eg:如果一對實(shí)體包含/人/死者/死亡地點(diǎn)(多），很有可能包含/人/死者/埋葬地點(diǎn)（少）。
  • 存在兩個(gè)問題
    • 關(guān)系知識的學(xué)習(xí)：也可能導(dǎo)致負(fù)遷移
    • 利用關(guān)系知識：
      • 將關(guān)系知識集成到現(xiàn)有的RE模型也是一個(gè)挑戰(zhàn)
  • 如何做
    • 利用KGembedding->提取隱式
      • （Yang et al。，2015）：語義相近，嵌入相近
    • 和GCN->明確的關(guān)系表示
      • KGs:有多對一關(guān)系，數(shù)據(jù)稀疏–無足夠的關(guān)系信號
      • 用GCN來學(xué)習(xí)

然而，存在兩個(gè)問題:(1)關(guān)系知識的學(xué)習(xí):語義相似的類可能包含更多的關(guān)系信息，促進(jìn)遷移，而不相關(guān)的類(如/location/location/contains和/people/family/country)通常包含較少的關(guān)系信息，可能導(dǎo)致負(fù)遷移。(2)利用關(guān)系知識:將關(guān)系知識集成到現(xiàn)有的RE模型是一個(gè)挑戰(zhàn)。
為了解決學(xué)習(xí)關(guān)系知識的問題，如（Lin et al。，2016; Ye et al。，2017）所示，我們使用類嵌入來表示關(guān)系類，并利用KG嵌入和圖卷積網(wǎng)絡(luò)（GCN）來提取隱式和明確的關(guān)系知識。具體而言，之前的研究（Yang et al。，2015）已經(jīng)表明，語義相似關(guān)系的嵌入在潛在空間中彼此靠近。例如，關(guān)系/人/人/地方生活和/人/人/國籍更相關(guān)，而關(guān)系/人/人/職業(yè)與前兩個(gè)關(guān)系的相關(guān)性較小。因此，利用KG的這些知識是很自然的。但是，由于KGs內(nèi)存在多對一關(guān)系，因此每個(gè)班級的相關(guān)資料可能會(huì)分散。換句話說，類之間可能沒有足夠的關(guān)系信號。因此，我們利用GCN來學(xué)習(xí)明確的關(guān)系知識。

為了解決利用關(guān)系知識的問題，我們首先使用卷積神經(jīng)網(wǎng)絡(luò)（Zeng et al。，2014,2015）來編碼句子;然后引入粗略到知識的關(guān)注機(jī)制，將關(guān)系知識與編碼句子結(jié)合到包表示向量中。關(guān)系知識不僅為關(guān)系預(yù)測提供了更多信息，而且為關(guān)注模塊提供了更好的參考信息，以提高長尾類的性能。

2.相關(guān)工作

2.1 關(guān)系提取

• 關(guān)系提取。
  • 監(jiān)督模型
    • 監(jiān)督的RE模型（Zelenko等人，2003; GuoDong等人，2005; Mooney和Bunescu，2006）需要足夠數(shù)量的注釋數(shù)據(jù)用于訓(xùn)練，這是耗時(shí)的。
  • 遠(yuǎn)程監(jiān)督模型
    • （Mintz等，2009）提出了DS來自動(dòng)標(biāo)記數(shù)據(jù)。DS不可避免地伴隨著錯(cuò)誤的標(biāo)簽問題。
    • 為了緩解噪聲問題，（Riedel等人，2010; Hoffmann等人，2011）提出了多實(shí)例學(xué)習(xí)（MIL）機(jī)制。
    • 最近，神經(jīng)模型已被廣泛用于RE;
      • 這些模型可以準(zhǔn)確地捕獲文本關(guān)系，而無需進(jìn)行明確的語言分析（Zeng等，2015; Lin等，2016; Zhang等，2018a）。
      • 為了進(jìn)一步提高性能，一些研究將外部信息（Zeng等人，2017年;Ji等人，2017年; Han等，2018）和先進(jìn)的培訓(xùn)策略（Ye等，2017年;劉等人。 2017; Huang和Wang，2017; Feng等，2018; Zeng等，2018; Wu等，2017; Qin等，2018）結(jié)合起來。
        • 這些工作主要采用DS制作大規(guī)模數(shù)據(jù)集，降低DS引起的噪聲，不論長尾關(guān)系的影響如何。
    • 考慮long-tail的：
      • （Gui等，2016; Lei等，2018; Han等，2018b）。
        • Gui et al。，2016）提出了一種基于解釋的方法，
        • （Lei et al。，2018）則使用了外部知識（邏輯規(guī)則）。
        • 這些研究孤立地處理每個(gè)關(guān)系，而不管關(guān)系之間的豐富語義相關(guān)性。
        • （Han et al。，2018b）提出了RE的分層關(guān)注方案，特別是對于長尾關(guān)系。
        • Zhang, N., et al. (2019)：與這些方法不同，我們利用來自KG和GCN的隱式和顯式關(guān)系知識，而不是數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)參數(shù)空間，其中類似關(guān)系可能具有不同的參數(shù)，阻礙了長尾類的泛化。

2.2 KG embedding

• 知識圖嵌入。
  • 最近，已經(jīng)提出了幾種KG嵌入模型。
  • 這些方法學(xué)習(xí)實(shí)體和關(guān)系的低維矢量表示（Bordes等，2013; Wang等，2014; Lin等，2015）。
  • TransE（Bordes等，2013）是最廣泛使用的模型之一，它將關(guān)系視為在同一低維超平面上從頭部實(shí)體到尾部實(shí)體的轉(zhuǎn)換。
  • 受到KGs豐富知識的啟發(fā)，最近的作品（Han et al。，2018a; Wang et al。，2018; Lei et al。，2018）在KGs的指導(dǎo)下擴(kuò)展了DS模型。
    • 然而，這些作品忽視了關(guān)系之間的豐富關(guān)聯(lián)。
    • 已經(jīng)研究了關(guān)系結(jié)構(gòu)（關(guān)系知識）對于KG完成非常有效（Zhang等，2018b）。
    • Zhang, N., et al. (2019)：據(jù)我們所知，這是第一次考慮使用KGs for RE的類（關(guān)系）的關(guān)系知識。

2.3 GCNN

• GCNN

  • GCN將CNN泛化到高維空間中（超出二維和一維空間）。
  • （Defferrard等，2016）開發(fā)了光譜方法來執(zhí)行有效的圖形卷積。
  • （Kipf和Welling，2016）假設(shè)圖形結(jié)構(gòu)在輸入實(shí)例上是已知的，并且將GCN應(yīng)用于半監(jiān)督學(xué)習(xí)。
  • 通過（Schlichtkrull等，2018）將GCN應(yīng)用于關(guān)系數(shù)據(jù)（例如，鏈接預(yù)測）。
  • GCN還在其他NLP任務(wù)中取得了成功，例如
    • 語義角色標(biāo)記（Marcheggiani和Titov，2017），
    • 依賴性解析（Strubell和McCallum，2017）和
    • 機(jī)器翻譯（Bastings等，2017）。

• 兩項(xiàng)相似的工作

  • （Chen et al。，2017）在結(jié)構(gòu)化標(biāo)簽空間上使用GCN。然而，他們的實(shí)驗(yàn)不處理長尾標(biāo)簽并且沒有引入attention，而是使用平均字向量來表示每個(gè)文檔。
  • （Rios和Kavuluru，2018）通過利用帶有GCN的結(jié)構(gòu)化標(biāo)簽空間提出了一種few-shot和zero-shot文本分類方法。但是，他們在標(biāo)簽圖中使用了GCN，而我們在標(biāo)簽的層次結(jié)構(gòu)圖中使用了GCN。

• few-shot:少樣本學(xué)習(xí)

• zero-shot:0樣本學(xué)習(xí)

3. 方法

3.1符號

• 遵循MIL,分為多個(gè)實(shí)體對包
  • 每個(gè)包$$\begin{gathered} S_{h_i,t_i}=s_1,s_2,...包含多個(gè)實(shí)例（都是h_i,t_i這倆提及對的） \\ s=w_1,w_2,... \end{gathered}$$

3.2框架

3.2.1 Instance Encoder

給定實(shí)例提到兩個(gè)實(shí)體，我們將原始實(shí)例編碼為連續(xù)的低維向量x，其由嵌入層和編碼層組成。嵌入圖層。嵌入層用于將實(shí)例中的離散單詞映射到連續(xù)輸入嵌入中。給定實(shí)例s，我們將實(shí)例中的每個(gè)單詞映射到嵌入的實(shí)值預(yù)訓(xùn)練Skip-Gram（Mikolov等，2013）。我們采用以下位置嵌入（Zeng et al。，2014）。對于每個(gè)單詞，我們將它與兩個(gè)實(shí)體的相對距離嵌入到兩個(gè)維向量中。然后，我們將單詞嵌入和位置嵌入連接起來，以實(shí)現(xiàn)每個(gè)單詞的最終輸入嵌入，并收集實(shí)例中的所有輸入嵌入。因此，我們獲得了為編碼層準(zhǔn)備好的嵌入序列。

• Instance Encoder
  • 輸入：實(shí)例s={w1,w2,…}和他的兩個(gè)提及hi,ti
  • 輸出：連續(xù)的低緯向量x
  • 嵌入層
    • 給定實(shí)例s
    • word embedding:
      • 每個(gè)單詞，映射到skip-gram的嵌入上(Mikolov et al., 2013)
    • position embedding
      • (Zeng et al。，2014）
      • 每個(gè)單詞：它與兩個(gè)實(shí)體的相對距離嵌入到兩個(gè)dp維的想兩種
    • 兩個(gè)嵌入連接起來–>每個(gè)單詞的最終輸入
  • 編碼層
    • 輸入：上面得到的嵌入
    • 方法(兩個(gè)）：
      • CNN（Zeng et al。，2014）
      • PCNN（Zeng et al。，2015）
      • 其他也可，但卷積效果最好
    • 輸出：嵌入的組合–實(shí)例嵌入

編碼層。編碼層旨在將給定實(shí)例的輸入嵌入組合成其對應(yīng)的實(shí)例嵌入。在這項(xiàng)研究中，我們選擇兩個(gè)卷積神經(jīng)架構(gòu)CNN（Zeng et al。，2014）和PCNN（Zeng et al。，2015）將輸入嵌入編碼到實(shí)例嵌入中。其他神經(jīng)架構(gòu)，如遞歸神經(jīng)網(wǎng)絡(luò)（Zhang和Wang，2015）也可以用作句子編碼器。由于之前的工作表明卷積和循環(huán)體系結(jié)構(gòu)都可以實(shí)現(xiàn)可比較的最先進(jìn)性能，因此我們在本研究中選擇了卷積體系結(jié)構(gòu)。請注意，我們的模型獨(dú)立于編碼器選擇，因此可以很容易地適應(yīng)其他編碼器架構(gòu)。

3.4 Relational Knowledge Learning through KG Embeddings and GCNs.

• 給定：
  • 預(yù)先訓(xùn)練的KG嵌入
  • 預(yù)定義的類（關(guān)系）層次結(jié)構(gòu)，
• 我們首先
  • 利用KGs得到隱式關(guān)系知識
  • 初始化層次結(jié)構(gòu)標(biāo)簽圖;
    • KG的基本關(guān)系（葉子）
      • 其向量表示，可由TransE的KG嵌入來初始化
        • 也可用其他
    • 泛化得到更高級的關(guān)系集合（通常包含多個(gè)子關(guān)系（在基本幾何中的））
      • 非葉子的向量：可用所有子節(jié)點(diǎn)的向量平均得到
    • 樹結(jié)構(gòu)的
    • 生成過程：遞歸
    • 父節(jié)點(diǎn)：虛擬的
    • 方法：k-means,層次聚類
• GCN:
  • 由于KG中的一對多關(guān)系和不完整性，KG嵌入每個(gè)標(biāo)簽所獲得的隱含相關(guān)信息是不夠的。
  • 然后我們應(yīng)用兩層GCN來學(xué)習(xí)標(biāo)簽空間中明確的細(xì)粒度關(guān)系知識。
  • 輸入：KGs的預(yù)訓(xùn)練關(guān)系嵌入$v^{implicit}$
  • 第i個(gè)標(biāo)簽：組合其父母和子女的標(biāo)簽得到
    • $v_i^1=f(W^1{v}_i+{\Sigma }_{j\in p}\frac{W_p^1{v}_j}{|p|}+{\Sigma }_{j\in c}\frac{W_c^1{v}_j}{|c|}+b_g^1)$
    • 第二層同上，得到$v^{explicit},v^{implicit}$
  • 輸出：$q_r=v^{explicit}||v^{implicit}$–concate–>每一層的，每個(gè)節(jié)點(diǎn)都有一個(gè)q

3.5 knowledge-aware attention

傳統(tǒng)上，PCNN / CNN的輸出層將學(xué)習(xí)通過交叉熵?fù)p失優(yōu)化的標(biāo)簽特定參數(shù)。然而，標(biāo)簽特定參數(shù)空間對于每個(gè)關(guān)系是唯一的，與長尾相關(guān)聯(lián)的矩陣在訓(xùn)練期間只能暴露于非常少的事實(shí)，導(dǎo)致不良的泛化。相反，我們的方法嘗試將句子向量與其對應(yīng)的類嵌入進(jìn)行匹配，而不是學(xué)習(xí)標(biāo)簽特定的注意參數(shù)。實(shí)質(zhì)上，這成為一個(gè)檢索問題。類嵌入的相關(guān)信息包含標(biāo)簽之間長尾的有用關(guān)系知識。

• 問題：
  • CNN，loss=交叉熵–ok
  • 但long-tail，所以泛化不良
• 解決
  • 將句子向量與對應(yīng)的類嵌入匹配
  • 成為檢索問題
    • 根據(jù)他們的類型來組合這些class embedding（依據(jù)層次圖）
    • 得到關(guān)系表示公式:$$\begin{gathered} e_k=W_s(tanh[s_k;q_{r^i}])+b_s;[s_k;q_{r^i}]是垂直鏈接 \\ {\alpha }_k^i=\frac{exp(e_k)}{{\Sigma }_{j=1}^{m}exp(e_j)} \\ {r}_{h,t}^i=ATT(q_r^i,s1,s2,...,sm) \end{gathered}$$
  • 然后，我們需要在不同層上組合關(guān)系表示–還是注意力機(jī)制
    • $$\begin{gathered} g_i=W_{g}tanh(r_{h,t}) \\ {\beta }_i=\frac{exp(g_i)}{{\Sigma }_{j=0}^{L?1}exp(g_j)} \\ {r}_{h,r}=Concat({\beta }_0{r}_{h,t}^0,...,{\beta }_{L?1}{r}_{h,t}^{L?1}) \end{gathered}$$
  • 概率：$P(r|h,t,S_{h,t})=\frac{exp(M{r}_{h,t})}{{\Sigma }_{r^{\prime }\in R}exp(M{r}_{h,t}^{\prime })}$

4.實(shí)驗(yàn)

4.1 數(shù)據(jù)集

• NYT
  • 數(shù)據(jù)集有53個(gè)關(guān)系，包括N A關(guān)系，表示實(shí)例關(guān)系不可用。訓(xùn)練集有522611個(gè)句子，281270個(gè)實(shí)體對和18252個(gè)關(guān)系事實(shí)。在測試集中，有172448個(gè)句子，96678個(gè)實(shí)體對和1950個(gè)關(guān)系事實(shí)。在訓(xùn)練和測試集中，我們將超過120個(gè)單詞的句子截?cái)酁?20個(gè)單詞。
• evaluation
  • P-R曲線
  • precision@N
• 應(yīng)用dropout

4.3 result

• 比對
  • +KATT :OpenNRE
  • +HATT：分層注意力方法（Han et al。，2018b）
  • +ATT:（Lin et al。，2016）一般的加注意力方法
  • +ATT + ADV是通過在實(shí)例嵌入中添加小的對抗擾動(dòng)來降噪的注意方法（Wu et al。，2017），
  • +而+ ATT + SL是使用軟件的基于注意力的模型 - 標(biāo)簽方法，以減輕實(shí)體對層面錯(cuò)誤標(biāo)簽問題的副作用（Liu et al。，2017）。
• 結(jié)果
  • 如圖所示，我們的方法在所有基于注意力的模型中實(shí)現(xiàn)了最佳結(jié)果。
  • 即使與采用復(fù)雜的去噪方案和額外信息的PCNN + HATT，PCNN + ATT + ADV和PCNN + ATT + SL相比，我們的模型仍然更有優(yōu)勢。
  • 這表明我們的方法可以利用KG和GCN之間豐富的關(guān)系，從而提高性能。我們相信，通過采用對抗性培訓(xùn)和強(qiáng)化學(xué)習(xí)等其他機(jī)制，我們的模型可以進(jìn)一步提高，這將成為我們未來工作的一部分

4.4 長尾關(guān)系的處理

從表1中顯示的結(jié)果，我們觀察到對于CNN和PCNN模型，我們的模型優(yōu)于普通注意模型和HATT模型。盡管與普通ATT方法和HATT方法相比，我們的KATT方法在長尾關(guān)系方面取得了更好的結(jié)果，但所有這些方法的結(jié)果仍然遠(yuǎn)遠(yuǎn)不能令人滿意。這表明遠(yuǎn)程監(jiān)督的RE模型仍然受到長尾關(guān)系問題的困擾，這可能需要額外的方案和額外的信息來解決這個(gè)問題。

• 并不能完全解決這個(gè)問題

4.5 ablation

w / o hier是沒有粗略關(guān)注的方法（僅利用層次標(biāo)簽圖的底部節(jié)點(diǎn)嵌入），這意味著沒有從其更高級別類別的知識轉(zhuǎn)移;
沒有GCN的方法沒有GCN，這意味著沒有明確的關(guān)系知識;
Word2vec是使用預(yù)訓(xùn)練SkipGram（Mikolov等，2013）嵌入來初始化節(jié)點(diǎn)的方法;
并且沒有KG是使用隨機(jī)嵌入來初始化節(jié)點(diǎn)的方法，這意味著沒有來自KG的先前關(guān)系知識。

• 從表2中的評估結(jié)果可以看出，在沒有粗略注意的情況下性能略有下降，這證明來自較高節(jié)點(diǎn)的知識轉(zhuǎn)移是有用的。我們還注意到，如果沒有KG或使用字嵌入，性能會(huì)略有下降，而且當(dāng)我們刪除GCN時(shí)性能會(huì)顯著下降。這是合理的，因?yàn)镚CN可以在關(guān)系標(biāo)簽之間學(xué)習(xí)更明確的相關(guān)性，從而提高長尾關(guān)系的性能。

總結(jié)

以上是生活随笔為你收集整理的论文阅读课4-Long-tail Relation Extraction via Knowledge Graph Embeddings（GCN,关系抽取，2019，远程监督，少样本不平衡，2注意的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。