論文鏈接

基于知識協同微調的低資源知識圖譜補全方法

2022年3月發表于軟件學報

是浙大prompt系列的一個延續

本文之前的工作：

AdaPrompt: Adaptive Prompt-based Finetuning for Relation Extraction

本文之后的工作：

Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction

Relation Extraction as Open-book Examination: Retrieval-enhanced Prompt Tuning

與本文類似的也是用prompt做補全的論文：

Do Pre-trained Models Benefit Knowledge Graph Completion? A Reliable Evaluation and a Reasonable Approach

由清華提出來，發表于2022ACL

Introduction

基于知識指在進行模板構造時利用到手工模板。

協調微調指的是先調整模板和表達器最，等其收斂后再調全部參數。

低資源是因為prompt善于處理少樣本學習任務。

然后整個模型是一個補全模型。

現有的知識圖譜補全工作大多會假設知識圖譜中的實體或關系有充足的三元組實例。

在通用領域，存在大量長尾三元組；在垂直領域，較難獲得大量高質量的標注數據。

在關系預測的推理任務中,圖譜中頻率較高的關系明顯優于頻率較低的關系。
在關系抽取的補全任務中,預測精度隨著關系的樣本數目減少而大幅下降。

?知識圖譜補全可以通過知識圖譜的鏈接預測或者從語料文本中抽取新的關系來實現。

不同于這些工作,本文主要借助外部知識來構建提示,并在知識圖譜補全任務中同時考慮知識圖譜的顯式知識和語言模型隱式知識。

模型示意

?對于prompt類型文章，我們還是從基線模型、模板、表達器、目標函數來看。

基線模型

文章表示模型適用于很多預訓練模型，本文主要介紹的是bert。

模板（軟硬結合、搜索）

將模板初始化為這樣子，然后對其進行編碼：

?得到hi，可學習的詞向量參數：

最后優化它們。

表達器（離散、搜索）

?

?

?本文將BERT模型原先詞表中的“[unused]”字替換成為本文的特殊標簽字。

Method –協同學習算法 & 目標函數

總的來說,本文有兩個目標函數：

關系判別目標函數𝒥R 和 實體判別目標函數𝒥E

關系判別函數讓模型能夠擬合在本文知識圖譜補全任務的數據集上。

實體判別目標來訓練通過句子中的其他信息理解實體的意思。

在模型輸入中隨機掩蓋一個實體,然后利于預訓練任務目標讓語言模型去預測該實體。

最終目標函數 協同學習算法

1.首先基于知識驅動的模板構建和標簽組合得到初始的提示(Prompt),并隨機初始化其余部分待優化模板詞和標簽。

2.然后固定原始模型的所有參數,并只優化模板特殊字以及標簽詞特殊字{?1, … , ?𝑚𝑚, . . , ?𝑚𝑚+𝑛𝑛}（3-7 行）。

3.最后,優化模型全部的參數。（8-12 行）

Experiment

?

實驗效果的話大致就是講首先補全和關系抽取的效果好，其次prompt方法適合小樣本學習，再就是虛擬標簽詞在3維空間與真實類別的語義距離近，然后就是消融實驗證明每一個模塊有效。

Comparison

與清華的PKCG對比：

1.PKCG使用分類頭，KnowCo-Tuning使用表達器。

2.PKCG有額外的支持模板增強語義。

3.PKCG專門為每個關系類別設計模板。

4.兩個模板都用到soft-prompt。

5.KnowCo-Tuning可解釋性差。

6.PKCG效果更好。

其中2和3都更好的利用語言模型的屬性，模型效果有沒有被規則限制待驗證。

總結

總的來說這篇文章是比較早的prompt方式了，并且可解釋性差，如果做這方面的工作可以再看看清華他們的PKCG，另外用預訓練模型&prompt做關系抽取和圖譜補全的任務相似，一般關系抽取的方法效果好，做補全可以把關系抽取的方法拿過來。

總結

以上是生活随笔為你收集整理的论文阅读《Knowledge Collaborative Fine-tuning for Low-resource Knowledge GraphCompletion》的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。