2018年8月-12月，由美團(tuán)點(diǎn)評、創(chuàng)新工場、搜狗、美圖聯(lián)合主辦的“AI Challenger 2018全球AI挑戰(zhàn)賽”歷經(jīng)三個(gè)多月的激烈角逐，冠軍團(tuán)隊(duì)從來自全球81個(gè)國家、1000多所大學(xué)和公司的過萬支參賽團(tuán)隊(duì)中脫穎而出。其中“后廠村靜靜”團(tuán)隊(duì)-由畢業(yè)于北京大學(xué)的程惠閣（現(xiàn)已入職美團(tuán)點(diǎn)評）單人組隊(duì)，勇奪“細(xì)粒度用戶評論情感分類”賽道的冠軍。本文系程惠閣對于本次參賽的思路總結(jié)和經(jīng)驗(yàn)分享，希望對大家能夠有所幫助和啟發(fā)。

背景

在2018全球AI挑戰(zhàn)賽中，美團(tuán)點(diǎn)評主要負(fù)責(zé)了其中兩個(gè)頗具挑戰(zhàn)的主賽道賽題：細(xì)粒度用戶評論情感分析和無人駕駛視覺感知。其中NLP中心負(fù)責(zé)的細(xì)粒度用戶評論情感分析賽道，最受歡迎，參賽隊(duì)伍報(bào)名數(shù)量最多，約占整個(gè)報(bào)名團(tuán)隊(duì)的五分之一。

細(xì)粒度用戶評論情感分析賽道提供了6大類、20個(gè)細(xì)分類的中文情感評論數(shù)據(jù)，標(biāo)注規(guī)模難度之大，在NLP語料特別是文本分類相關(guān)語料中都屬于相當(dāng)罕見，這份數(shù)據(jù)有著極其重要的科研學(xué)術(shù)以及工業(yè)應(yīng)用價(jià)值。

賽題簡介

在線評論的細(xì)粒度情感分析對于深刻理解商家和用戶、挖掘用戶情感等方面有至關(guān)重要的價(jià)值，并且在互聯(lián)網(wǎng)行業(yè)有極其廣泛的應(yīng)用，主要用于個(gè)性化推薦、智能搜索、產(chǎn)品反饋、業(yè)務(wù)安全等。本次比賽我們提供了一個(gè)高質(zhì)量的海量數(shù)據(jù)集，共包含6大類20個(gè)細(xì)粒度要素的情感傾向。參賽人員需根據(jù)標(biāo)注的細(xì)粒度要素的情感傾向建立算法，對用戶評論進(jìn)行情感挖掘，組委將通過計(jì)算參賽者提交預(yù)測值和場景真實(shí)值之間的誤差確定預(yù)測正確率，評估所提交的預(yù)測算法。

1. 工具介紹

在本次比賽中，采用了自己開發(fā)的一個(gè)訓(xùn)練框架，來統(tǒng)一處理TensorFlow和PyTorch的模型。在模型代碼應(yīng)用方面，主要基于香港科技大學(xué)開源的RNet和MnemonicReader做了相應(yīng)修改。在比賽后期，還加入了一個(gè)基于BERT的模型，從而提升了一些集成的效果。

2. 整體思路

整體將該問題看作20個(gè)Aspect的情感多分類問題，采用了傳統(tǒng)的文本分類方法，基于LSTM建模文本，End2End多Aspect統(tǒng)一訓(xùn)練。

文本分類是業(yè)界一個(gè)較為成熟的問題，在2018年2月份，我參加了Kaggle的“作弊文本分類”比賽，當(dāng)時(shí)的冠軍團(tuán)隊(duì)主要依靠基于翻譯的數(shù)據(jù)增強(qiáng)方法獲得了成功。2018年反作弊工作中的一些實(shí)踐經(jīng)驗(yàn)，讓我意識到，數(shù)據(jù)是提升文本分類效果的第一關(guān)鍵。因此，我第一時(shí)間在網(wǎng)絡(luò)上尋找到了較大規(guī)模的大眾點(diǎn)評評論語料，在Kaggle比賽的時(shí)候，NLP的語言模型預(yù)訓(xùn)練還沒有出現(xiàn)，而隨著ELMo之類模型的成功，也很期待嘗試一下預(yù)訓(xùn)練語言模型在這個(gè)數(shù)據(jù)集合上的整體效果。

3. 基礎(chǔ)模型思路

首先，嘗試了不使用預(yù)訓(xùn)練語言模型的基礎(chǔ)模型，基于Kaggle Toxic比賽的經(jīng)驗(yàn)，直接使用了當(dāng)時(shí)表現(xiàn)最好的LSTM Encode + Pooling作為基線模型。在Kaggle的比賽中，大家實(shí)驗(yàn)的普遍結(jié)果是針對中長文本的分類任務(wù)的最佳單模型，都是基于RNN(LSTM/GRU)或者部分基于RNN的模型，比如RCNN、Capsule + RNN這樣的模型，而其他的模型，比如單純的CNN結(jié)構(gòu)相對表現(xiàn)較差，主要可能是因?yàn)镽NN模型能更好地捕獲相對較長距離的順序信息。

4. 模型層面優(yōu)化

在基線模型的基礎(chǔ)上，效仿閱讀理解常見的做法，增加了Self Attention層（計(jì)算文本到文本自身的Attention權(quán)重），并將Attention之后的輸出和原始LSTM輸出，采用Gate(RNet)或者Semantic Fusion(MnemonicReader)的方式進(jìn)行融合。

5. 模型細(xì)節(jié)處理

更寬的參數(shù)更多的模型效果更好

• LSTM效果好于GRU。
• Hidden size 400 > 200 > 100。
• Topk Pooling + Attention Pooling的效果好于單獨(dú)的Max或者Attention Pooling。
• 共享層前置，Pooling層 和最后Fc層不同aspect參數(shù)獨(dú)占效果更好（來自賽后實(shí)驗(yàn)，以及其他團(tuán)隊(duì)經(jīng)驗(yàn)）。

這里推測主要原因：是這個(gè)數(shù)據(jù)集有20個(gè)Aspect，每個(gè)Aspect分4個(gè)不同的類別，所需要的參數(shù)相對較多。

三角學(xué)習(xí)率調(diào)節(jié)效果最佳

• 參考BERT開源代碼的學(xué)習(xí)率設(shè)置帶來較大效果提升。

采用Word + Char的詞建模方式

• 這種建模方式能結(jié)合分詞和字符粒度切分的好處，最大限度避免詞匯UNK帶來的損失。
• 注意對比Kaggle Toxic比賽那次比賽是英文語料，對應(yīng)英文，當(dāng)時(shí)的實(shí)驗(yàn)結(jié)果是Word + Ngram的建模效果更好，收斂更快，所以針對不同NLP任務(wù)，我們需要具體進(jìn)行分析。

采用盡可能大的詞表

和其他團(tuán)隊(duì)相比，我采用了更大的詞表14.4W（Jieba分詞），19.8W（Sentence Piece Unigram分詞），依靠外部大眾點(diǎn)評評論數(shù)據(jù)基于fastText預(yù)訓(xùn)練詞向量，能夠支持更大的詞表。同時(shí)為了避免訓(xùn)練過擬合，采用了只Finetune訓(xùn)練中高頻的詞對低頻詞固定詞向量的處理方式。

最開始，預(yù)計(jì)情感相關(guān)的詞匯相對較少，不需要較大的詞表，但是實(shí)驗(yàn)過程中發(fā)現(xiàn)更大的詞表相對地能夠提升性能，前提是利用較多的外部數(shù)據(jù)去比較好的刻畫訓(xùn)練數(shù)據(jù)中低頻詞的向量。在理論上，我們可以采用一個(gè)盡可能大的詞表在預(yù)測過程中去盡可能的減少UNK的存在（有論文的結(jié)論是對應(yīng)UNK不同的詞賦于不同隨機(jī)向量效果，好于一個(gè)固定的UNK向量。這里類似，如果我們賦予一個(gè)基于無監(jiān)督外部數(shù)據(jù)，通過語言模型訓(xùn)練得到的向量則效果更好）。

6. 預(yù)訓(xùn)練語言模型

這部分是模型效果提升的關(guān)鍵，這里采用了ELMo Loss。在簡單嘗試了官方的ELMo版本之后，感覺速度相對比較慢，為此，采用了自己實(shí)現(xiàn)的一個(gè)簡化版的ELMo，實(shí)質(zhì)上只使用了ELMo的Loss部分。

在當(dāng)前雙層LSTM Encoder的基礎(chǔ)上，采用了最小代價(jià)的ELMo引入，也就是對當(dāng)前模型的第一層LSTM進(jìn)行基于ELMo Loss的預(yù)訓(xùn)練，而Finetune的時(shí)候，模型結(jié)構(gòu)和之前完全不變，只是第一層LSTM以及詞向量部分采用的ELMo預(yù)訓(xùn)練的初始化結(jié)果，另外在ELMo的訓(xùn)練過程中，也采用了基于fastText的詞向量參數(shù)初始化。這個(gè)設(shè)計(jì)使得ELMo訓(xùn)練以及Finetune訓(xùn)練的收斂，都加快了很多，只需要大概1小時(shí)的ELMo訓(xùn)練，就能在下游任務(wù)產(chǎn)生明顯受益。值得一提的是，ELMo和Self Attention的搭配在這個(gè)數(shù)據(jù)集合效果非常好。

7. 模型集成

為了取得更好的模型多樣性，采用了多種粒度的分詞方式，在Jieba分詞的主要模型基礎(chǔ)上，同時(shí)引入了基于SentencePiece的多種粒度分詞。SentencePiece分詞能帶來更短的句子長度，但是分詞錯(cuò)誤相對Jieba略多，容易過擬合，因此采用了只Finetune Char向量，固定詞向量的策略來避免過擬合。多種粒度的分詞配合Word + Char的建模方式帶來了很好的模型多樣性。

此外，模型維度的多樣性來源自RNet結(jié)構(gòu)和MnemonicReader結(jié)構(gòu)，以及BERT模型的結(jié)構(gòu)的不同。

在模型選擇的時(shí)候選取了平均F1值最優(yōu)的輪次模型，集成的時(shí)候采用了按Aspect效果分開加權(quán)集成的方式（權(quán)重來自Valid數(shù)據(jù)的F1分值排序）。基于以上的多樣性策略，只需要7個(gè)單模型集成就能取得較好的效果。

8. 關(guān)于BERT

在實(shí)驗(yàn)中基于Char的BERT單模型，在本次比賽中并沒有取得比ELMo更好的效果，受限于512的長度和只基于Char的限制，目前看起來BERT模型在這個(gè)數(shù)據(jù)集合更容易過擬合，Train Loss下降較快，對應(yīng)Valid Loss效果變差。相信通過適當(dāng)?shù)膬?yōu)化BERT模型能取得更好的效果。

9. 后續(xù)優(yōu)化

• F1的優(yōu)化是一個(gè)有意思的方向。本次比賽中，沒有對此做特殊處理，考慮到F1是一個(gè)全局優(yōu)化值，如果基于Batch強(qiáng)化學(xué)習(xí)，每個(gè)Batch可能很難擬合稀有樣本分布。
• BERT的進(jìn)一步優(yōu)化。因?yàn)锽ERT出現(xiàn)之前，基于Transformer的模型在長文本分類效果大都是差于基于LSTM的模型的，所以如果我們按照BERT的Loss去預(yù)訓(xùn)練基于LSTM而不是Transformer的模型，在分類問題層面的效果如何？另外，在這個(gè)數(shù)據(jù)集合基于Transformer的BERT，能否取得比ELMo更好的分類效果？

對話AI Challenger 2018冠軍：程惠閣

Q：談?wù)剬Ρ敬螀①惖母惺?#xff1f;

程惠閣：作為一個(gè)多年的算法從業(yè)者，我真實(shí)的感受到在AI時(shí)代，技術(shù)更新非常之快，比如席卷而來的ELMo、BERT等預(yù)訓(xùn)練語言模型在工業(yè)界影響力之大。包括美團(tuán)在內(nèi)的很多公司都快速跟進(jìn)并上線，而且取得了很好收益，因此技術(shù)人員時(shí)刻保持學(xué)習(xí)的心態(tài)是非常重要的。

而比賽和工作存在很大的不同，比賽相對更加單純明確，比賽可以使我在最短時(shí)間去學(xué)習(xí)實(shí)驗(yàn)驗(yàn)證一些新的技術(shù)，而在標(biāo)準(zhǔn)數(shù)據(jù)集合驗(yàn)證有效的模型策略，往往在工作中也有實(shí)際的價(jià)值。對于比賽以及工作中的模型開發(fā)，我覺得比較重要的一點(diǎn)首先要做好細(xì)致的模型驗(yàn)證部分，在此基礎(chǔ)上逐步開發(fā)迭代模型才有意義。比如在這次比賽中，我從一開始就監(jiān)控了包括整體以及各個(gè)Aspect的包括F1、AUC、Loss等等各項(xiàng)指標(biāo)。

Q：對學(xué)習(xí)算法的新同學(xué)有哪些建議？

程惠閣：如果有時(shí)間，可以系統(tǒng)地學(xué)習(xí)一些名校的深度學(xué)習(xí)相關(guān)的課程，還有很重要的一點(diǎn)，就是實(shí)踐，我們可以參加去學(xué)校項(xiàng)目或者去大公司實(shí)習(xí)，當(dāng)然也可以利用AI Challenger、Kaggle這樣的競賽平臺進(jìn)行實(shí)踐。

Q：為什么會(huì)選擇參加細(xì)粒度用戶評論情感分類這個(gè)賽道？

程惠閣：因?yàn)槲抑皡⒓舆^類似的比賽，并且做過文本分類相關(guān)的工作，對這個(gè)賽道的賽題也比較感興趣。

Q：本次比賽最有成就感的事情是什么？

程惠閣：不斷迭代提升效果帶來的成就感吧，特別是簡化版ELMo帶來的效果提升。

Q：參賽過程中，有哪些收獲和成長？

程惠閣：作為一個(gè)TensorFlow重度用戶，我學(xué)會(huì)了使用PyTorch并且體驗(yàn)到PyTorch帶來的優(yōu)雅與高效。體驗(yàn)到了預(yù)訓(xùn)練語言模型的威力。在比賽中和比賽后，我也收獲了很多志同道合的朋友，和他們的交流學(xué)習(xí)，也幫助我提高了很多。

更重要的是，因?yàn)檫@次比賽，我加入了美團(tuán)點(diǎn)評這個(gè)大家庭，入職這段時(shí)間，讓我真切地感受到美團(tuán)點(diǎn)評為了提升用戶體驗(yàn)，為了讓用戶吃的更好，生活更好，在技術(shù)方面做了大量的投入。

總結(jié)

以上是生活随笔為你收集整理的AI Challenger 2018：细粒度用户评论情感分析冠军思路总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。