百度機器閱讀理解比賽賽后總結(jié)

<!-- 文章內(nèi)容 --><div data-note-content="" class="show-content"><div class="show-content-free"><p>2018年4-5月間，筆者參加了百度舉辦的<a href="https://links.jianshu.com/go?to=http%3A%2F%2Fmrc2018.cipsc.org.cn%2F" target="_blank" rel="nofollow">機器閱讀理解競賽</a>，抱師兄大腿地從不知連機器學(xué)習(xí)的門入沒入的狀態(tài)到對自然語言以及閱讀理解有了一定理解。期間經(jīng)歷了讀不懂論文、不會實現(xiàn)算法、對師兄談及的各種算法一無所知等等痛苦，最終堅持下來，算是有了一些收獲，就在這篇文章把參加比賽的整個過程以及解題、構(gòu)建模型的思路梳理一下。</p>

我和組隊的畢業(yè)師兄都是第一次參加閱讀理解的比賽，但他在自然語言方面有更多了解，先前也打過kaggle之類的比賽，比賽實際上以他打為主，我以輔助和學(xué)習(xí)的形式參加。

比賽最終以Rough-L第14名，BLEU第6名的結(jié)果結(jié)束，雖然有很多想法和改進沒有來得及實現(xiàn)，但畢竟是第一次參賽，相信之后會越來越好。

Ranklist

Step0：了解比賽，掌握數(shù)據(jù)形式

題目背景：

官方給出解釋：

對于給定問題q及其對應(yīng)的文本形式的候選文檔集合D=d1, d2, ..., dn，要求參評閱讀理解系統(tǒng)自動對問題及候選文檔進行分析， 輸出能夠滿足問題的文本答案a。目標(biāo)是a能夠正確、完整、簡潔地回答問題q。

個人詳細解釋：
語料庫包含很多問題
對于每個問題，語料庫中對應(yīng)幾篇文檔和該問題的標(biāo)準(zhǔn)答案。
文檔來自百度搜索、百度知道的結(jié)果，文檔分標(biāo)題和內(nèi)容。文檔的標(biāo)題和詢問的問題相似，而內(nèi)容則是和問題答案相關(guān)的內(nèi)容。
問題的標(biāo)準(zhǔn)答案參考給出的文檔由人工提取而成。（非完全抽取式，會有些許不同）。
我們要做的就是根據(jù)給出的幾篇文檔，回答問題的答案，根據(jù)我們給出的答案和他們給出的標(biāo)準(zhǔn)答案的相似度進行評分。

評分機制：
Rough-L：相同最大子串(考慮順序)
BLEU-4：預(yù)測答案和實際答案共同出現(xiàn)的詞數(shù)(無順序)
評分以Rough-L為主，Rough-L相同以BLEU-4排名
在對比賽形式和目標(biāo)有了了解之后，下一步還要看官方給出的數(shù)據(jù)和代碼，包括訓(xùn)練、驗證、測試集數(shù)據(jù)，預(yù)處理的代碼等。不過介于這是第一個比賽，經(jīng)驗不足，這一步筆者是在往baseline里面加代碼的時候才做的，導(dǎo)致很大一段時間對數(shù)據(jù)細節(jié)不了解。

介于官方有給出了預(yù)處理之后的數(shù)據(jù)集，我們在這次比賽中直接使用了他們處理的數(shù)據(jù)集，沒有自行對原數(shù)據(jù)集進行處理。但是后來發(fā)現(xiàn)預(yù)處理中間其實大有可為，對最終表現(xiàn)也有些影響，不過那時已經(jīng)接近比賽尾聲，我們只好作罷。

Step1: 閱讀論文，了解state-of-art models

頭兩個星期的預(yù)備階段用于看已有模型的論文和代碼，因為百度提供了兩個baseline系統(tǒng)：BIDAF和Match-LSTM，所以我們也主要看這兩個baseline的論文，再參考先前排行榜中排名靠前且開源的微軟r-net。通過這些已有的較為流行的模型，我對解決閱讀理解的流程和階段有了初步的認識。

閱讀理解模型基本分為編碼、聚合、匹配、抽取四個模塊：

編碼階段將分好詞的問題和文章分別轉(zhuǎn)換成詞向量，可以使用已有的詞向量導(dǎo)入，也可以隨機初始化，而后根據(jù)結(jié)果反向傳播訓(xùn)練

聚合階段仍然是分別處理文章和問題，通過如雙向LSTM讓每個詞獲得上下文的信息

匹配階段則是將問題和文章進行交互，文章的每個詞都和整個問題進行聚合，以此讓每個詞結(jié)合問題信息，由此得到已知問題的文章編碼。也有模型進行雙向的匹配，即獲得已知文章的問題編碼和已知問題的文章編碼兩種編碼，而后再聚合。理論上這個階段到這里就結(jié)束了，但是據(jù)r-net的文章提出，通過rnn的文章編碼只能獲得有限的上下文信息，而答案的抽取范圍可能很長，因此在匹配之后通常會再加上一次聚合，讓已知問題的文章編碼獲得自身較遠距離的上下文信息。

抽取階段則是進行答案的抽取。在M-LSTM的論文中提到兩種模型：sequence model和boundary model，sequence model不考慮詞語的連續(xù)性問題，將答案詞語逐個逐個抽取而后拼接起來。而boundary model僅選擇答案的起始和終止位置，中間的均作為答案，而實驗表明boundary模型不僅簡單而且效果更好，在其它的模型中也直接沿用了boundary模型。在此次比賽中，我們做的同樣是答案抽取的形式。對于有些難度較大的數(shù)據(jù)集（如微軟的MS-MARCRO），答案除了部分來自給定的文章外，還需要推理及自行生成，那么抽取階段還需要做額外的工作。如s-net 中介紹的 extraction-then-synthesis framework。

Step2 模型選擇與改進

挑選Baseline System：

BIDAF與MLSTM區(qū)別：

BiDAF在Interaction 層中引入了雙向注意力機制
首先計算一個原文和問題的 Alignment matrix，
基于該矩陣計算 Query2Context 和 Context2Query 兩種注意力，
基于注意力計算 query-aware 的原文表示，
使用雙向 LSTM 進行語義信息的聚合。

另外，BIDAF Embed 層中混合了詞級 embedding 和字符級 embedding(在百度提供的baseline中沒有)，詞級 embedding 使用預(yù)訓(xùn)練的詞向量進行初始化，而字符級 embedding 使用 CNN 進一步編碼，兩種 embedding 共同經(jīng)過 2 層 Highway Network 作為 Encode 層輸入。

通過實驗對比，我們最終選擇了效果更好的BIDAF作為baseline。

初期想法：

師兄從知識圖譜體系結(jié)構(gòu)的角度提出了智能補充疑問代詞的思路，鑒于給出的問題有五分之二缺少疑問詞，僅僅給出名詞，如“xxx的價格”，他總結(jié)出三類問題所要問題：屬性、行為和狀態(tài)：
1. 屬性是不變或變得很緩慢的知識，如姓名、性別等
2. 行為，行為包括原因、過程、對象、時間、地點、結(jié)果，如遇到xxx怎么辦
3. 狀態(tài)，狀態(tài)是屬性和行為考慮時間維度后的產(chǎn)物，如天氣

但bidaf的Match層是類似于相似度計算，加上疑問代詞后反而降低了相似程度導(dǎo)致表現(xiàn)變差。同時，為了補充疑問代詞，我們將問題拆分為有無疑問代詞兩類，因此訓(xùn)練集的規(guī)模減小，而補充代詞帶來的價值填補不了本身數(shù)據(jù)小還做了切分的損失，由此我們放棄了這個想法。

模型改造：

架構(gòu)上：end-to-end 到 非 end-to-end

? 一個問題，文檔集中很可能會有多個答案，而它們彼此之間相互干擾，并且降低了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效果，而針對這種情況，我們并沒有選擇在一個問題對應(yīng)的整個文檔集的多篇文章中只抽取一個答案，而是每篇文章抽取一個答案，構(gòu)成備選答案集，之后再從備選答案集中挑選最佳的作為我們的答案。在和其他隊伍交流的過程中，我們注意到他們截取的答案常常出現(xiàn)不完整的情況，而我們采用這種架構(gòu)抽取的答案則幾乎不會出現(xiàn)。

? 對于單篇文章內(nèi)答案的抽取：在一篇文章內(nèi)同樣可能會有多個地方可能作為答案，在使用boundary模型預(yù)測始末位置時，一旦這篇文章模型認為的最優(yōu)答案和文章內(nèi)其它答案的區(qū)分度不高（概率差沒達到我們設(shè)定的闕值），那么我們就放棄在這篇文章中抽取答案。

? 由此，模型不再是end-to-end了，它的主要功能就是抽取備選答案集，而我們通過對比我們選出的答案和標(biāo)準(zhǔn)答案，據(jù)此更新參數(shù)，訓(xùn)練模型從單篇文章抽取答案的能力。

實現(xiàn)上

在實現(xiàn)方面，我們做了兩點變化：

問題編碼作為上文流入文章編碼

第一點變化就是在編碼層將問題編碼作為文章上文流入文章編碼。在百度知道中，大多數(shù)時候人們的回答不會正式到將問題也加入到答案里，但是問題的一部分也應(yīng)該包含在答案里，如：

Q：中國第一個乒乓球大滿貫是誰？ A1：劉國梁。 A2：中國第一個乒乓球大滿貫是劉國梁。 A3：中國第一個乒乓球大滿貫。

? 人們通常只會回答A1這樣的答案，雖然最正式的答案是A2。而把問題作為上文流入文章編碼，則相當(dāng)于自動將A1變成A2，很大程度上強化了文章對問題的匹配程度。

加入self-matching層

如同r-net和上文中提到的，理論上聚合層已經(jīng)聚合了足夠的上下文信息，但實際上它只能獲取有限的上下文，由此我們加入了r-net中的核心：self-matching層，用來在文章和問題匹配之后，強化文章內(nèi)部的信息交互。而這里，也是我首次參與到代碼實現(xiàn)的部分。

雖然筆者之前接觸過tensorflow，但都是照著文檔，照著書打代碼，到了實際實現(xiàn)論文的算法時可就懵了，但是想來這么優(yōu)秀的模型應(yīng)當(dāng)會有人去把它實現(xiàn)了吧，為了達到更好的效果同時也盡量減少重復(fù)造輪子，于是筆者在github上找到了幾個基于tensorflow實現(xiàn)的r-net，在照著論文把他們的代碼啃完之后，花了些功夫把其中的self-matching層結(jié)合進了我們的模型了，然而卻始終在reshape的調(diào)用上出錯，查找了各種解決方案后無果。

考慮到維度的升降問題是無法避免的，開源的使用reshape無法正常運行，而baseline能夠正常運行，它們的實現(xiàn)區(qū)別在哪里呢？想到這點，筆者又返回去看baseline的代碼并將它和開源代碼對比起來看，由此發(fā)現(xiàn)了區(qū)別：開源代碼中使用tf.variable顯式定義了各種需要訓(xùn)練的參數(shù)，而在baseline中使用了layer的fully_connected讓tensorflow自行根據(jù)輸入的size設(shè)置參數(shù)的shape，而后自行完成乘、加的運算，就無需調(diào)用reshape函數(shù)手動調(diào)整維度，更不會遇到維度無法整除的問題了。

隨后，筆者照著baseline實現(xiàn)BIDAF那樣，根據(jù)r-net中self-matching的公式將self-matching實現(xiàn)了出來。不得不承認，哪怕把r-net的論文看了好幾遍，但在實現(xiàn)的時候才發(fā)現(xiàn)，自己還有好多的細節(jié)并沒有掌握，文章中可能只是在公式下面短短的一句話，卻是指向上一階段一系列公式的"指針"，而忽略了這句話就會使得變量對應(yīng)不上。

雖然這一系列過程很累也很惱人，但看到代碼最終成功運行并在服務(wù)器上跑起來，成就感還是相當(dāng)足的。遺憾的是，這一層的加入對于模型的表現(xiàn)沒有太大的提升。

答案抽取1： EM算法

起初，我們使用EM算法，通過讓備選答案集彼此交互信息，選出共性最大的答案作為最佳答案，但發(fā)現(xiàn)效果并不好，并且沒有考慮到很多特征，由此僅作為一個額外的特征導(dǎo)入xgboost中。

EM算法作為無監(jiān)督算法，目的在于在沒有標(biāo)簽的情況下，讓備選答案集彼此間投票。基本思想是：首先將設(shè)置所有答案的可信度都一樣，出現(xiàn)在越多答案中的詞可信度越高（通過引入信息熵降低常用詞的價值），而這些詞會反過來增加某些答案的可信度，答案的可信度調(diào)整之后，在可信度高的答案的詞語可信度增加，由此雙方不斷加強，最終選出最佳答案。

這個算法在備選答案越多的情況下表現(xiàn)會越好，此次我們的備選答案最多有五個，雖然取得了不錯的效果但還需要更好的表現(xiàn)。此外，最佳答案通過這個算法選取僅考慮了答案之間的交互，省略了很多特征，如答案和問題的匹配程度、答案長度、和問題的編輯距離等等。

考慮到這是在五個答案中選擇一個最佳答案，把這視作一個五分類問題，起初筆者對視作五分類問題有疑惑，因為筆者認為答案和標(biāo)號之間沒有聯(lián)系，可以隨意更換。但實際上，數(shù)據(jù)的來源是百度搜索和百度知道，搜索引擎通常會將最匹配問題的結(jié)果放在第一位，同樣的，備選答案之間也有順序，直接將第一個答案作為選出答案的分數(shù)比起隨機選擇或者把最后一個作為答案的分數(shù)高得多。

在對主流模型進行實驗挑選過后，我們最終選定了在kaggle中大放異彩，速度和準(zhǔn)確率均高的xgboost。

答案抽取2：Xgboost

要使用xgboost訓(xùn)練首先得構(gòu)造訓(xùn)練數(shù)據(jù)

答案的標(biāo)簽生成方面，我們通過對比五個答案和標(biāo)準(zhǔn)答案的rough-l值高低，選出最高分答案的索引作為標(biāo)簽。

特征選擇方面，除了先前提到的em分數(shù)、答案長度、問題長度、答案和問題的編輯距離外，我們還將神經(jīng)網(wǎng)絡(luò)中經(jīng)過各個層之后答案編碼向量同樣作為特征。

有了特征有了訓(xùn)練數(shù)據(jù)，接下來就是調(diào)參了。而這對于模型最終的分數(shù)也有相當(dāng)大的影響。

以下就是我們的成品模型了：

最終模型

Step3 調(diào)參

改造好模型之后，參數(shù)調(diào)整這里同樣大有可為，而因為服務(wù)器性能有限，訓(xùn)練前面的神經(jīng)網(wǎng)絡(luò)一次就需要四天的時間，因此我們將重心放在了xgboost的參數(shù)調(diào)整上。

此時到了比賽結(jié)束前兩天，我也將幾乎所有的時間集中到了這里。先前在實現(xiàn)了self-matching之后，筆者花了一段時間了解了決策樹、隨機森林，從基本思想到公式推導(dǎo)，而后再了解xgboost這個相當(dāng)優(yōu)秀的實現(xiàn)，著實拓寬了眼界。

在翻閱了各種xgboost調(diào)參的教程后，對參數(shù)調(diào)整的順序和大致范圍有了基本的了解，為了不陷入手動調(diào)參的"悲慘境地"，考慮到我們既然是學(xué)計算機、學(xué)軟件的，那大部分事情應(yīng)當(dāng)自動化讓計算機完成，于是搜索并發(fā)現(xiàn)了gridCV這一神函數(shù)，通過自動排列組合我們選定的參數(shù)，調(diào)用xgboost并返回分數(shù)和參數(shù)組合排名，我們只需要大致選定參數(shù)范圍，而后交給它去排列組合并返回結(jié)果，不過限于服務(wù)器性能，我們還是需要謹慎考慮選用的訓(xùn)練集規(guī)模、各種參數(shù)的間隔、排列組合的個數(shù)等等因素，著實耗費了不少精力，不過也顯著將得分提了2-3個點。

未來改進點與賽后感想

改進：

用預(yù)先訓(xùn)練好的詞向量代替隨機初始化詞向量進行訓(xùn)練

不用xgboost抽取答案，改用更適合該模型的神經(jīng)網(wǎng)絡(luò)：xgboost使用的是答案抽取過程的伴生向量，還是沒有辦法很好的代表問題和答案之間的特征，而采用神經(jīng)網(wǎng)絡(luò)重新對候選答案集進行編碼、匹配、融合、解碼會提高表現(xiàn)。

單篇文章抽取答案前先通過self-match交互其他文章信息（需要試試使用詞級、句子級、段落級還是文章級別的向量進行交互）

加強數(shù)據(jù)預(yù)處理，清洗噪音消息和html標(biāo)簽

有無疑問代詞的優(yōu)化

EM算法嵌入同義詞典：當(dāng)前的EM算法使用的是詞語是否相等的完全匹配，而加了同義詞典之后，不同句子內(nèi)的同義詞彼此之間也能提升可信度。

使用dropout：讓模型按照一定概率把神經(jīng)網(wǎng)絡(luò)單元暫時從網(wǎng)絡(luò)中丟棄，不僅提高訓(xùn)練速度而且提高泛化能力

字符級別詞嵌入：為模型提供更多特征

隨機丟棄詞：來自中大蘇劍林蘇神的建議，直接隨機去掉文章或問題的詞或者將詞向量置為0。不使用dropout，因為dropout使用了縮放會影響到詞向量。

pointer-net開始和終止概率的調(diào)整：使用加減乘除、平方等等對概率的計算進行調(diào)整，同樣是來自蘇神的建議，不過限于時間、機器性能和經(jīng)驗原因，這次比賽沒來得及使用上。

感想

首次參加機器學(xué)習(xí)方面的比賽，雖然不對名次什么的抱有太大期望，不過在報名的八百多支隊伍，一百多份提交中排名14還是著實令人開心的（雖然大部分都是師兄的功勞）。

這次比賽給我?guī)碜畲蟮氖斋@就是眼界的拓寬，而且讓我對自然語言處理中閱讀理解這個領(lǐng)域有了基本的了解，對于之后的學(xué)習(xí)也是相當(dāng)有幫助的，之前再怎么學(xué)，也不過是照著書、照著教程打，沒有實際應(yīng)用，因此也沒有真正掌握這些知識的實感。在參賽的過程中，從了解目標(biāo)、了解模型、了解數(shù)據(jù)再到實地修改代碼、改造模型、調(diào)整參數(shù)，當(dāng)這么一個完整的流程走下來之后，感覺成長了不少呢。

非常感謝極天信息給我這樣一個機會，以小白的狀態(tài)參加到比賽中，也感謝容福炬師兄在比賽過程中對我的指導(dǎo)。

源代碼

比賽中使用的神經(jīng)網(wǎng)絡(luò)部分和xgboost調(diào)參部分的代碼可以在我的github倉庫中看到。

我的個人博客：Zedom1.top

總結(jié)

以上是生活随笔為你收集整理的百度机器阅读理解比赛赛后总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。