當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

基于DGCNN和概率图的轻量级信息抽取模型

發(fā)布時間：2024/10/8 编程问答 60 豆豆

生活随笔收集整理的這篇文章主要介紹了基于DGCNN和概率图的轻量级信息抽取模型小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

作者丨蘇劍林

單位丨追一科技

研究方向丨NLP，神經(jīng)網(wǎng)絡(luò)

個人主頁丨kexue.fm

前幾個月，百度舉辦了“2019語言與智能技術(shù)競賽” [1]，其中有三個賽道，而我對其中的“信息抽取”賽道頗感興趣，于是報名參加。經(jīng)過兩個多月的煎熬，比賽終于結(jié)束，并且最終結(jié)果已經(jīng)公布。筆者從最初的對信息抽取的一無所知，經(jīng)過這次比賽的學習和研究，最終探索出在監(jiān)督學習下做信息抽取的一些經(jīng)驗，遂在此與大家分享。

▲?信息抽取賽道：“科學空間隊”在最終測試結(jié)果上排名第七

筆者在最終的測試集上排名第七，指標 F1 為 0.8807（Precision 是 0.8939，Recall 是 0.8679），跟第一名相差 0.01 左右。從比賽角度這個成績不算突出，但自認為模型有若干創(chuàng)新之處，比如自行設(shè)計的抽取結(jié)構(gòu)、CNN+Attention（所以足夠快速）、沒有用 Bert 等預訓練模型，私以為這對于信息抽取的學術(shù)研究和工程應(yīng)用都有一定的參考價值。

基本分析

信息抽取（Information Extraction, IE）是從自然語言文本中抽取實體、屬性、關(guān)系及事件等事實類信息的文本處理技術(shù)，是信息檢索、智能問答、智能對話等人工智能應(yīng)用的重要基礎(chǔ)，一直受到業(yè)界的廣泛關(guān)注。... 本次競賽將提供業(yè)界規(guī)模最大的基于 schema 的中文信息抽取數(shù)據(jù)集（Schema based Knowledge Extraction, SKE），旨在為研究者提供學術(shù)交流平臺，進一步提升中文信息抽取技術(shù)的研究水平，推動相關(guān)人工智能應(yīng)用的發(fā)展。?

——比賽官方網(wǎng)站介紹

任務(wù)介紹

本次的信息抽取任務(wù)，更精確地說是“三元組”抽取任務(wù)，示例數(shù)據(jù)如下：?

{??"text":?"九玄珠是在縱橫中文網(wǎng)連載的一部小說，作者是龍馬",??"spo_list":?[????["九玄珠",?"連載網(wǎng)站",?"縱橫中文網(wǎng)"],????["九玄珠",?"作者",?"龍馬"]??]}"text":?"九玄珠是在縱橫中文網(wǎng)連載的一部小說，作者是龍馬",
??"spo_list":?[
????["九玄珠",?"連載網(wǎng)站",?"縱橫中文網(wǎng)"],
????["九玄珠",?"作者",?"龍馬"]
??]
}

就是輸入一個句子，然后輸出該句子包含的所有三元組。其中三元組是 (s, p, o) 的形式，它的 s 是 subject，即主實體，為 query 中的一個片段；而 o 是 object，即客實體，也是 query 中的一個片段；而 p 是 predicate，即兩個實體之間的關(guān)系，比賽事先給出了所有的候選 predicate 列表（schema，一共 50 個候選 predicate）?？偟膩碚f，(s, p, o) 可以理解的“s 的 p 是 o”。?

比賽給出了將近 20 萬的標注數(shù)據(jù)，標注質(zhì)量也頗高，感謝百度（據(jù)說數(shù)據(jù)集遲點會在http://ai.baidu.com/broad/download公開發(fā)布，到時就可以下載了）。?

樣本特點

很顯然，這是一個“一對多”的抽取+分類任務(wù)，通過對人工觀察樣本情況，發(fā)現(xiàn)其特點如下：?

1. s 和 o 未必是分詞工具分出來的詞，因此要對 query 做標注才能抽取出正確的 s、o，而考慮到分詞可能切錯邊界，因此應(yīng)該使用基于字的輸入來標注；?

2. 樣本中大多數(shù)的抽取結(jié)果是“一個 s、多個 (p, o)”的形式，比如“《戰(zhàn)狼》的主演包括吳京和余男”，那么要抽出“(戰(zhàn)狼, 主演, 吳京)”、“(戰(zhàn)狼, 主演, 余男)”；?

3. 抽取結(jié)果是“多個 s、一個 (p, o)”甚至是“多個 s、多個 (p, o)”的樣本也占有一定比例，比如“《戰(zhàn)狼》、《戰(zhàn)狼 2》的主演都是吳京”，那么要抽出“(戰(zhàn)狼, 主演, 吳京)”、“(戰(zhàn)狼 2, 主演, 吳京)”；?

4. 同一對 (s, o) 也可能對應(yīng)多個 p，比如“《戰(zhàn)狼》的主演和導演都是吳京”，那么要抽出“(戰(zhàn)狼, 主演, 吳京)”、“(戰(zhàn)狼, 導演, 吳京)”；?

5. 極端情況下，s、o 之間是可能重疊的，比如“《魯迅自傳》由江蘇文藝出版社出版”，嚴格上來講，除了要抽出“(魯迅自傳, 出版社, 江蘇文藝出版社)”外，還應(yīng)該抽取出“(魯迅自傳, 作者, 魯迅)”。

模型設(shè)計

在“樣本特點”一節(jié)我們列舉了 5 點基本的觀察結(jié)果，其中除了第 5 點略顯極端外，其余 4 點都是信息抽取任務(wù)的常見特點。在正式動手之前，我簡單調(diào)研了目前主要的信息抽取模型，發(fā)現(xiàn)竟然沒有一個模型能很好地覆蓋這 5 個特點。所以我放棄了已有的抽取思路，自行設(shè)計了一個基于概率圖思想的抽取方案，然后從效率出發(fā)，利用 CNN+Attention 完成了這個模型。

概率圖思想

比如，一種比較基準的思路是先進行實體識別，然后對識別出的實體進行關(guān)系分類，但這種思路無法很好地處理同一組 (s, o) 對應(yīng)多個 p 的情況，同時會存在采樣效率地的問題。

另一種思路是作為一個整體的序列標注來搞，參考論文 Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme [2]，但這種設(shè)計不能很好地處理同時有多個 s、多個 o 的情況，需要非常丑陋的“就近原則”；還有“殺雞用牛刀”地動用強化學習的方法...而無一例外地，這些方法都不能解決 s、o 有重疊的情況。?

信息抽取研究了這么多年，居然連上述幾個基本問題都沒有解決，在我看來是十分不可思議的。而我自己的原則是：不優(yōu)雅的設(shè)計必須拋棄，所以我決定放棄我了解到的所有抽取思路，自行設(shè)計一個抽取方案。為此，我考慮到了類似 seq2seq 的概率圖思路。?

做過 seq2seq 的朋友都知道，解碼器實際上在建模：

實際預測的時候，是先通過 x 來預測第一個單詞，然后假設(shè)第一個單詞已知來預測第二個單詞，依此遞推，直到出現(xiàn)結(jié)束標記。那抽取三元組為什么不參考這個思路呢？我們考慮：

也就是說，我們可以先預測 s，然后傳入 s 來預測該 s 對應(yīng)的 o，然后傳入 s、o 來預測所傳入的 s、o 的關(guān)系 p，實際應(yīng)用中，我們還可以把 o、p 的預測合并為一步，所以總的步驟只需要兩步：先預測 s，然后傳入 s 來預測該 s 所對應(yīng)的 o 及 p。

理論上，上述模型只能抽取單一一個三元組，而為了處理可能由多個 s、多個 o 甚至多個 p 的情況，我們?nèi)渴褂谩鞍胫羔?半標注”結(jié)構(gòu)（說白了，將 softmx 換成 sigmoid，在基于CNN的閱讀理解式問答模型：DGCNN一文中也介紹過），并且在關(guān)系分類的時候也使用 sigmoid 而不是 softmax 激活。

經(jīng)過這樣的設(shè)計后，最終的模型可以非常簡單高效地解碼，并且完全覆蓋了“樣本特點”列舉的 5 個特點。

注 1：為什么不先預測 o 然后再預測 s 及對應(yīng)的 p？?

那是因為引入在第二步預測的時候要采樣傳入第一步的結(jié)果（而且只采樣一個），而前面已經(jīng)分析了，多數(shù)樣本的 o 的數(shù)目比 s 的數(shù)目要多，所以我們先預測 s，然后傳入 s 再預測 o、p 的時候，對 s 的采樣就很容易充分了（因為 s 少），反過來如果要對 o 進行采樣就不那么容易充分（因為 o 可能很多）。?

帶著這個問題繼續(xù)讀下去，讀者會更清楚地認識到這一點。?

注 2：刷到最近的 arXiv 論文，發(fā)現(xiàn)在思想上，本文的這種抽取設(shè)計與文章 Entity-Relation Extraction as Multi-Turn Question Answering?[3]類似。?

整體結(jié)構(gòu)

至此，我們已經(jīng)用相當長的篇幅說明了模型的抽取思想，即先識別 s，然后傳入 s 來同時識別 p 和 o。現(xiàn)在來介紹本文模型整體結(jié)構(gòu)。?

為了保證效率，模型使用了 CNN+Attention 的結(jié)構(gòu)（外加了一個短序列的 LSTM，由于序列很短，所以即使是 LSTM 也不影響效率），沒有用以慢著稱的 Bert 之類的預訓練模型。其中 CNN 沿用了之前介紹過的 DGCNN，Attention 是用了 Google 力推的 Self Attention，整體結(jié)構(gòu)示意圖如下圖。

▲?本文的信息抽取模型示意圖。這里輸入句子是“《戰(zhàn)狼2》的主演吳京生于1974年”，而要抽出的三元組是“(戰(zhàn)狼2, 主演, 吳京)”和“(吳京, 出生日期, 1974年)”

具體來說，模型的處理流程為：?

1. 輸入字 id 序列，然后通過字詞混合 Embedding（具體的混合方式后面再介紹）得到對應(yīng)的字向量序列，然后加上 Position Embedding；?

2. 將得到“字-詞-位置 Embedding”輸入到 12 層 DGCNN 中進行編碼，得到編碼后的序列（記為 H）；?

3. 將 H 傳入一層 Self Attention 后，將輸出結(jié)果與先驗特征進行拼接（先驗特征可加可不加，構(gòu)建方式后面再詳細介紹）；?

4. 將拼接后的結(jié)果傳入 CNN、Dense，用“半指針-半標注”結(jié)構(gòu)預測 s 的首、尾位置；?

5. 訓練時隨機采樣一個標注的 s（預測時逐一遍歷所有的 s），然后將 H 對應(yīng)此 s 的子序列傳入到一個雙向 LSTM 中，得到 s 的編碼向量，然后加上相對位置的 Position Embedding，得到一個與輸入序列等長的向量序列；?

6. 將 H 傳入另一層 Self Attention 后，將輸出結(jié)果與第 5 步輸出的向量序列、先驗特征進行拼接（先驗特征可加可不加，構(gòu)建方式后面再詳細介紹）；?

7. 將拼接后的結(jié)果傳入 CNN、Dense，對于每一種 p，都構(gòu)建一個“半指針-半標注”結(jié)構(gòu)來預測對應(yīng)的 o 的首、尾位置，這樣就同時把 o、p 都預測出來了。?

該模型與我早期開源的一個 baseline 模型（https://github.com/bojone/kg-2019-baseline）已有較大區(qū)別，望讀者知悉。?

另外，關(guān)于讀者的可能有的兩個疑惑，在此先回答好了。第一是“為什么第 5 步只采樣一個 s？”，這個問題的答案很簡單，一是因為采樣一個就夠了（采樣多個等效增大 batch size），二是因為采樣一個比較好操作，我建議不明白的讀者好好想明白這一步再來讀下去。

第二是“為什么要不用Bert？”，這個問題其實很無聊，為什么要問這個問題呢，我不愛用不行嗎？具體的原因是我一直以來就對 Bert 沒什么好感，所以我也沒怎么琢磨 Bert 的 fine tune，直到前不久我才上手了 Bert 的 fine tune，所以比賽中也就沒用了。而且基于 Bert 的 fine tune 實在是沒有什么意思，效率又低，又體現(xiàn)不了個人的價值，如無必要，實在是不想使用。關(guān)于 Bert 的做法，在比賽截止前幾天也嘗試了一下，后面另寫文章分享吧。

模型細節(jié)

前面我們已經(jīng)介紹了模型的設(shè)計思想與整體結(jié)構(gòu)，現(xiàn)在我們來看模型的實現(xiàn)細節(jié)。?

字詞混合Embedding

開頭部分我們已經(jīng)說了，為了最大程度上避免邊界切分出錯，我們應(yīng)當選擇字標注的方式，即以字為基本單位進行輸入。不過，單純的字 Embedding 難以儲存有效的語義信息，換句話說，單個字基本上是沒有語義的，更為有效地融入語義信息的方案應(yīng)該是“字詞混合 Embedding”。?

在本次比賽的模型中，筆者使用了一種自行設(shè)計的字詞混合方式。

首先，我們輸入以字為單位的文本序列，經(jīng)過一個字 Embedding 層后得到字向量序列；然后將文本分詞，通過一個預訓練好的 Word2Vec 模型來提取對應(yīng)的詞向量，為了得到跟字向量對齊的詞向量序列，我們可以將每個詞的詞向量重復“詞的字數(shù)”那么多次；得到對齊的詞向量序列后，我們將詞向量序列經(jīng)過一個矩陣變換到跟字向量一樣的維度，并將兩者。整個過程如下圖：

▲?本模型所使用的字詞混合Embedding方式圖示

實現(xiàn)上，筆者使用 pyhanlp 作為分詞工具，用 1000 萬條百度百科詞條訓練了一個 Word2Vec 模型（Skip Gram + 負采樣），而字向量則使用隨機初始化的字 Embedding 層。

在模型訓練過程中，固定 Word2Vec 詞向量不變，只優(yōu)化變換矩陣和字向量，從另一個角度看也可以認為是我們是通過字向量和變換矩陣對 Word2Vec 的詞向量進行微調(diào)。這樣一來，我們既融合了預訓練詞向量模型所帶來的先驗語義信息，又保留了字向量的靈活性。?

根據(jù)筆者自己的目測，相比單純使用字向量，這種字詞混合的方式能提升最終的效果約 1%～2%，提升是可觀的，并且我在其他任務(wù)上也實驗過這個方案，均有差不多幅度的提升，證明了這種混合方式的有效性。不同的預訓練詞向量模型對效果會有一定的影響，但不會特別大（千分之五以下），我也試過直接使用騰訊 AI LAB 所提供的詞向量 [4]（但只用了前 100 萬個詞），結(jié)果差不多。?

Position Embedding

由于主要使用 CNN+Attention 進行編碼，所以編碼出的向量序列“位置感”不夠強，但就本次比賽的數(shù)據(jù)而言，位置信息是有一定的價值的，比如 s 通常出現(xiàn)在句子開頭部分，又比如 o 通常出現(xiàn)在 s 附近。加入位置信息的一個有效信息是 Position Embedding，而不同于之前所介紹的由公式直接計算而來的 Position Embedding，本次模型使用了可優(yōu)化的 Position Embedding。?

具體做法是設(shè)定一個最大長度為 512（印象中所有樣本的句子長度不超過 300），然后全零初始化一個新的 Embedding 層（維度跟字向量維度一樣），傳入位置 ID 后輸出對應(yīng)的 Position Embedding，并把這個 Position Embedding 加到前面的字詞混合 Embedding 中，作為完整的 Embedding 結(jié)果，傳入到下述 DGCNN 編碼中。?

模型另一處用到了 Position Embedding 是在編碼 s 的時候，采樣得到的 s 經(jīng)過 BiLSTM 進行編碼后，得到一個固定大小的向量，然后我們將它復制拼接到原來的編碼序列中，作為預測 o、p 的條件之一。

不過考慮到 o 更可能是 s 附近的詞，所以筆者并非直接統(tǒng)一復制，而是復制同時還加上了當前位置相對于 s 所謂位置的“相對位置向量”（如果對此描述還感覺模糊，請直接閱讀源碼），它跟開頭的輸入共用同一個 Embedding 層。?

DGCNN?

DGCNN 在之前的基于CNN的閱讀理解式問答模型：DGCNN一文已經(jīng)介紹過，是筆者之前做閱讀理解模型時所提出的設(shè)計，它其實就是“膨脹門卷積”，其中門卷積的概念來自 Convolutional Sequence to Sequence Learning [5]，在那論文中被稱為 GLU (Gated Linear Units)，然后筆者通過把普通卷積換成了膨脹卷積來增加感受野。類似的做法出現(xiàn)在論文 Fast Reading Comprehension with ConvNets?[6]。

▲?殘差與門卷積的結(jié)合，達到多通道傳輸?shù)男Ч?/span>

當輸入輸出維度一樣時，DGCNN 可以加上殘差，而之前筆者就證明了加上殘差之后的 DGCNN 在數(shù)學上等價于 Highway 形式的膨脹卷積：

本次模型都是使用這種形式的 DGCNN，它體現(xiàn)了信息的選擇性多通道傳輸。

最后的模型共使用了 12 層 DGCNN，膨脹率依次為 [1,2,5,1,2,5,1,2,5,1,1,1]，即 [1,2,5] 重復三次（顆粒度從細到粗反復學習），然后 [1,1,1]（細顆粒度精調(diào)）。?

遠程監(jiān)督的先驗特征

本次比賽不允許使用額外的三元組知識庫，但是我們可以將訓練集里邊所有的三元組整合成一個知識庫，然后面對一個新句子時，直接從這個知識庫中進行遠程監(jiān)督式的搜索，得到這個句子的一些候選三元組。

所謂遠程監(jiān)督，就是指如果一個句子的某兩個實體剛好是知識庫的某個三元組的 s 和 o，那么就把這個三元組抽取出來作為候選三元組。這樣一來，只要有一個知識庫，那么我們可以用純粹檢索的方法來抽出任意一個句子的候選三元組。不過要注意的是，這僅僅是候選的三元組，而且有可能抽取出來的三元組全是錯的。?

對于遠程監(jiān)督的結(jié)果，筆者的使用方法是：將遠程監(jiān)督的結(jié)果作為特征傳入到模型中。首先，將所有遠程監(jiān)督得到的 s 構(gòu)成一個跟標注結(jié)構(gòu)類似的 0/1 向量，然后拼接到編碼向量序列，然后再進行 s 的預測；然后將所有遠程監(jiān)督得到的 o 及對應(yīng)的 p 也構(gòu)成一個跟標注結(jié)構(gòu)類似的 0/1 向量，拼接到編碼向量序列后再進行 o、p 的預測。具體實現(xiàn)方法請參考開源代碼。

要提醒的是，在訓練的時候，構(gòu)建遠程監(jiān)督特征時要先排除當前訓練樣本自身的三元組，即只能借助其他樣本的三元組來生成當前樣本的遠程監(jiān)督結(jié)果，這樣才能模擬測試集的使用情況。?

效果上，加入遠程監(jiān)督的先驗特征后，模型在線下驗證集的提升非?？捎^，達到了 2% 以上！并且已經(jīng)反復確認，代碼中不存在“使用未來信息”的漏洞，也就是說，這個線下結(jié)果是合理的。但是非常遺憾，線上測試集的結(jié)果卻跟沒有加先驗特征差不多，也就是幾乎沒有提升。但是通過觀測發(fā)現(xiàn)加不加先驗特征給出來的結(jié)果差異是比較大的，所以最后將兩者的結(jié)果進行融合了。?

其他補充內(nèi)容

在我的代碼實現(xiàn)中，還包括了一些額外的輔助模塊，包括代碼中的變量 pn1、pn2、pc、po，這些模塊從理論上提供了一些“全局信息”，pn1、pn2 可以認為是全局的實體識別模塊，而 pc 可以認為是全局的關(guān)系檢測模塊，po 可以認為是全局的關(guān)系存在性判斷，這些模塊都不單獨訓練，而是直接乘到 s、o 的預測結(jié)果上。?

這些模型基本上不會影響最終的效果，但能起到加速訓練的作用，而且個人直覺上感覺加上這些模塊可能會更合理一些。?

此外，還有前面提到隨機采樣 s 后，將 s 對應(yīng)的向量序列傳入到 BiLSTM 中編碼，實現(xiàn)的時候有所差別，是通過 s 的首尾 id 均勻插值后取出 s 的固定數(shù)目個（模型選了 6 個）向量來構(gòu)成一個定長向量序列傳入到 BiLSTM 中編碼，這樣做主要是為了避免處理 s 不定長的問題。

實驗煉丹

最后，介紹一些模型訓練過程中的細節(jié)問題。?

模型代碼：https://github.com/bojone/kg-2019?

代碼測試環(huán)境是 Python 2.7 + Keras 2.2.4 + Tensorflow 1.8。?

如果本文的模型對你的后續(xù)工作有幫助，煩請注明一下（其實也不是太奢望）：?

@misc{??jianlin2019bdkgf,??title={A?Hierachical?Relation?Extraction?Model?with?Pointer-Tagging?Hybrid?Structure},??author={Jianlin?Su},??year={2019},??publisher={GitHub},??howpublished={\url{https://github.com/bojone/kg-2019}},}
??jianlin2019bdkgf,
??title={A?Hierachical?Relation?Extraction?Model?with?Pointer-Tagging?Hybrid?Structure},
??author={Jianlin?Su},
??year={2019},
??publisher={GitHub},
??howpublished={\url{https://github.com/bojone/kg-2019}},
}

基本的訓練過程

首先是損失函數(shù)的選擇，由于“半指針-半標注”實際上就是兩個二分類，所以損失函數(shù)依然用二分類交叉熵。注意 s 的預測只有兩個 2 分類，而預測 o 的同時還預測了 p，所以 o 的預測實際上有 100=50×2 個 2 分類，但它們的損失函數(shù)依然按照 1:1 相加。

換句話說，按照 loss 的絕對值來看，o 的 loss 是 s 的 loss 的 50 倍。乍看之下有點反直覺，因為先預測 s 然后再預測 o，似乎 s 的權(quán)重應(yīng)該更大（因為如果 s 錯了那么預測結(jié)果肯定錯），但實驗結(jié)果表明 s、o 同樣重要。此外，諸如 focal loss 之類的交叉熵變種對最終結(jié)果的提升并沒有幫助。

模型使用 Adam 優(yōu)化器進行訓練，先用的學習率訓練不超過 50 個 epoch，然后加載訓練的最優(yōu)結(jié)果，再用的學習率繼續(xù)訓練到最優(yōu)。第一個 epoch 用來 WarmUp，如果不進行 WarmUp 可能不收斂。?

為了保證訓練結(jié)果穩(wěn)定提升，模型用到了 EMA（Exponential Moving Average），衰減率為 0.9999。

解碼過程調(diào)優(yōu)

模型的解碼過程有比較大的調(diào)優(yōu)空間?！鞍胫羔?半編碼結(jié)構(gòu)”用兩個 sigmoid 激活的標注方式來分別標注實體的首和尾，而為了解碼就需要一個閾值，即超過多少閾值就認為此處出現(xiàn)了實體。一般來說二分類的閾值為 0.5，但在本次模型中，發(fā)現(xiàn)將“首”的閾值設(shè)為 0.5，將“尾”的閾值設(shè)為 0.4，解碼結(jié)果的 F1 最佳。?

此外，這次比較的測試集有一個特點，就是測試集的質(zhì)量非常高，即抽取結(jié)果錯漏很少而且很規(guī)范。相比之下，訓練集的錯漏相對多一些，而且規(guī)范性可能也沒那么嚴格。所以，我們需要通過后期規(guī)則調(diào)整預測結(jié)果來滿足官方給出的一些規(guī)范性。

在比賽截止日期的前幾天，各個隊伍的提升都非常明顯，我估計大家都是在不斷地找規(guī)則來修正預測結(jié)果，從而提升的效果，筆者個人也是通過一些規(guī)則獲得了將近 1% 的提升！不過這些純粹是比賽的 trick，不在學術(shù)范圍內(nèi)，不做過多討論。?

模型平均與融合

模型的 ensemble 是提升最終效果的有力方法，針對本次任務(wù)，筆者使用了分層 ensemble 的方案。?

前面已經(jīng)說過，加不加先驗特征的線上效果都差不多，但是結(jié)果文件差異性比較大，為此，可以將兩個模型的結(jié)果取并集，而在取并集之前，則通過模型平均的方法提高單一模型的準確性。

具體來說，先不加先驗特征，然后將所有數(shù)據(jù)隨機打亂并且分成 8 份，做 8 折的交叉驗證，從而得到 8 個不加先驗特征的模型；然后加上先驗特征重做一次，得到另外 8 個加上先驗特征的模型。?

得到這 16 個模型后，將不加先驗特征的 8 個模型進行平均融合（如下圖，即將輸出的概率進行平均，然后再解碼出三元組），再將加了先驗特征的 8 個模型進行平均融合，這樣一共得到兩份結(jié)果文件，由于進行了平均融合，可以認為這兩份結(jié)果文件的精度都有了保證，最后，將這兩份結(jié)果文件取并集。

▲?基于交叉驗證的單模型融合

知識蒸餾

前面已經(jīng)說過，測試集可以認為是非常完美的，而訓練集卻是有一定缺漏和不規(guī)范的（當然大部分是好的），因此，我們使用了一種類似知識蒸餾的方式來重新整理訓練集，改善訓練集質(zhì)量。?

首先，我們使用原始訓練集加交叉驗證的方式，得到了 8 個模型（不加遠程監(jiān)督特征），然后用這 8 個模型對訓練集進行預測，得到關(guān)于訓練集的 8 份預測結(jié)果。

如果某個樣本的某個三元組同時出現(xiàn)在 8 份預測結(jié)果中但沒有出現(xiàn)在訓練集的標注中，那么就將這個三元組補充到該樣本的標注結(jié)果中；如果某個樣本的某個三元組在 8 份預測結(jié)果中都沒有出現(xiàn)但卻被訓練集標注了，那么將這個三元組從該樣本的標注結(jié)果中去掉。?

這樣一增一減之后，訓練集就會完善很多，用這個修正后的訓練集重新訓練和融合模型，能在線上的測試集上獲得將近 1% 的提升。當然不排除刪減這一步會錯誤地去掉一些困難樣本的標注結(jié)果，但是也無妨了，知識蒸餾的意思就是集中火力攻克主要矛盾。?

提升效率的策略

“高效”是本模型的一個顯著特點，哪怕是前述的共 16 個模型進行 ensemble，完成最后測試集（共約 10 萬個樣本）的預測只花了 4 個小時（如果服務(wù)器的 CPU 更好些，可以縮短到 2 小時左右），而在比賽群里討論知道，最后的測試集預測很多隊伍都花了十幾個小時以上，有些隊伍甚至花了幾天幾夜。?

當然，效率的追求是無止境的，除了硬件上的升級，在工程上很多時候我們還可以犧牲一點效果來換取更高的速度。對于本模型，可以化簡某些模塊，來換取速度的大幅度提升。

比如，可以將 12 層 DGCNN 改為膨脹率依次為 [1,2,5,1,2,5] 的六層。還有，前面介紹編碼 s 用了 BiLSTM，其實也可以直接將 s 的首位和末位對應(yīng)的編碼向量拼接起來作為最終的編碼結(jié)果，省去了 BiLSTM 的計算量。

此外，還可以考慮減少 Word2Vec 模型的詞匯量，這也能提高生成詞向量序列的速度，如果愿意放棄更多的精度，那么也可以考慮去掉字詞混合 Embedding，直接單純使用字 Embedding。?

經(jīng)過這樣處理，模型的速度可以提升 5 倍以上，而性能下降大概是 2%～4% 左右，具體幅度取決于你怎么取舍了。

文章總結(jié)

文章用比較長的篇幅記錄了筆者參加這次比賽的模型和煉丹經(jīng)歷。

在參加比賽之前，筆者對信息抽取乃至知識圖譜領(lǐng)域基本上是處于一無所知狀態(tài)，所以參加這個比賽的時候，完全是憑著自己的直覺來設(shè)計模型且調(diào)參的（當然也有一部分原因是經(jīng)過調(diào)研后發(fā)現(xiàn)主流的信息抽取模型都不能讓我滿意）。所以，最終交出的這份答卷和獲得的成績，是我比較滿意的結(jié)果了。

當然，本文的模型有不少“閉門造車”之處，如果讀者覺得有什么不妥的地方，歡迎大力吐槽。即便是在這個比賽之后，在信息抽取、知識圖譜這一塊，筆者依然還算是一個新手，望相關(guān)前輩們多多指教。

日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

生活随笔