datafountain自然语言处理比赛的学习和总结
? ? ? ? 自轉(zhuǎn)行入坑NLP煉丹2年以來，一直沒有打過相關(guān)的比賽，究其原因一個是覺得自己NLP相關(guān)的積累太少了，參加比賽完全沒有什么用；另外一方面是公司任務(wù)安排的比較多，又是自學(xué)工作任務(wù)處理起來就比較費時間，所有就沒有多余的時間來打比賽了；最后就是稍微有些空閑的時間就用來休息談戀愛呀娛樂呀學(xué)做飯呀以及學(xué)習(xí)寫博客之類的。在新公司適應(yīng)的比較快，項目也不是特別多，公司又有打比賽的需要，抓住機會參加了datafountain上面的幾個比賽。我主要打了大獎賽中的產(chǎn)品評論觀點提取和千言-問題匹配魯棒性評測(提交一個初版就放棄了)；訓(xùn)練賽中的法律領(lǐng)域篇章級多事件檢測(多標簽的分類任務(wù))和機器翻譯領(lǐng)域適應(yīng)這4個比賽。最后的成績是產(chǎn)品評論觀點提取A榜12名，B榜16名，遺憾沒有進入決賽；訓(xùn)練賽中法律領(lǐng)域篇章級多事件檢測(多標簽的分類任務(wù))暫時第一名，機器翻譯領(lǐng)域適應(yīng)暫時第一名，示意如下。
產(chǎn)品評論觀點提取
A榜
B榜
法律領(lǐng)域篇章級多事件檢測(多標簽分類任務(wù))
?訓(xùn)練賽截止日期是2021.12.06，法律領(lǐng)域篇章級多事件檢測最終掉到了第四名，第一名的成績是0.99663917，領(lǐng)先還是很多！
機器翻譯領(lǐng)域適應(yīng)
?訓(xùn)練賽截止日期是2021.12.06，機器翻譯領(lǐng)域適應(yīng)最終經(jīng)過9次提交一微弱的優(yōu)勢拿到了第一名，可以得到一個CCF會員名額和紀念獎牌。
? ?成績很差，也不太重要，重要的是在比賽過程中學(xué)習(xí)到的知識、經(jīng)驗和總結(jié)。
證書如下：
產(chǎn)品評論觀點提取吧比賽
法律領(lǐng)域篇章級多事件檢測(多標簽分類任務(wù))
?機器翻譯領(lǐng)域適應(yīng)
?
?
?
一、賽題剖析和比賽中的嘗試
A、產(chǎn)品評論觀點提取比賽
????????比賽的任務(wù)分為單標簽多分類任務(wù)和命名實體識別任務(wù)，舉辦方11.01提供了訓(xùn)練集和測試集，其中訓(xùn)練集約7500條，測試集約2800條。分類任務(wù)是一個單標簽3分類任務(wù)，判定句子的消極、積極和中性等3中情感類別，比例8:3:64；NER任務(wù)就是提取句子中產(chǎn)品、評論實體、銀行和評論形容詞四種實體(PRODUCT、COMMENTS_N、BANK和COMMENTS_ADJ)，其中COMMENTS_ADJ實體比例偏少。具體數(shù)據(jù)如下所示：
id,text,BIO_anno,class 0,交行14年用過，半年準備提額，卻直接被降到1Ｋ，半年期間只T過一次三千，其它全部真實消費，第六個月的時候為了增加評分提額，還特意分期兩萬，但降額后電話投訴，申請?zhí)?..,B-BANK I-BANK O O O O O O O O O O B-COMMENTS_N I-COMMENTS_N O O O O O B-COMMENTS_ADJ I-COMMENTS_ADJ O O O O O O O O O O O O O O O O O O O O O B-COMMENTS_N I-COMMENTS_N O O O O O O O O O O B-COMMENTS_N I-COMMENTS_N O O B-COMMENTS_N I-COMMENTS_N O O O O B-PRODUCT I-PRODUCT O O O O B-COMMENTS_ADJ O O O O O O O O O O O O O,0 1,單標我有了，最近visa雙標返現(xiàn)活動好,B-PRODUCT I-PRODUCT O O O O O O B-PRODUCT I-PRODUCT I-PRODUCT I-PRODUCT B-PRODUCT I-PRODUCT B-COMMENTS_N I-COMMENTS_N I-COMMENTS_N I-COMMENTS_N B-COMMENTS_ADJ,1 2,建設(shè)銀行提額很慢的……,B-BANK I-BANK I-BANK I-BANK B-COMMENTS_N I-COMMENTS_N B-COMMENTS_ADJ I-COMMENTS_ADJ O O O,0 3,我的怎么顯示0.25費率，而且不管分多少期都一樣費率，可惜只有69k,O O O O O O O O O O B-COMMENTS_N I-COMMENTS_N O O O O O O B-COMMENTS_ADJ I-COMMENTS_ADJ O O O O B-COMMENTS_N I-COMMENTS_N O B-COMMENTS_ADJ I-COMMENTS_ADJ B-COMMENTS_ADJ I-COMMENTS_ADJ O O O,2 4,利率不錯，可以擼,B-COMMENTS_N I-COMMENTS_N B-COMMENTS_ADJ I-COMMENTS_ADJ O O O O,1 5,不能??好像房貸跟信用卡是分開審核的反正我的不得,O O O O O O O O O O O O O O O B-COMMENTS_N I-COMMENTS_N O O O O O O O,2 6,我感覺這樣才是合理的，花唄白條沒要那么多信息，照樣可以給額度。有征信威懾，沒那么多人敢借了不還。與其眉毛胡子一把抓，還不如按額度區(qū)間對客戶進行不同程度的調(diào)查，免...,O O O O O O O B-COMMENTS_ADJ I-COMMENTS_ADJ O O B-PRODUCT I-PRODUCT B-PRODUCT I-PRODUCT O O O O O O O O O O O O O B-COMMENTS_N I-COMMENTS_N O O B-PRODUCT I-PRODUCT B-COMMENTS_ADJ I-COMMENTS_ADJ O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMENTS_N I-COMMENTS_N O O O O O O O O O O O O O O O O O O O,2 7,羨慕，可能上個月申請多了。上月連續(xù)下了浦發(fā)廣發(fā)華夏交通。這個月申請建行，農(nóng)業(yè)??郵儲各種秒拒，買了點建行理財，3個月后在看...,O O O O O O O O O O O O O O O O O O O B-BANK I-BANK B-BANK I-BANK B-BANK I-BANK O O O O O O O O O O O O O O O O O O O O O O O O O O O B-PRODUCT I-PRODUCT O O O O O O O O O O,0 8,這個短債只是用來提升信譽刷建行預(yù)審批的，又不是什么賺錢的基金。也只有建行有賣，我買過，不但不賺錢還會虧本的。...,O O B-PRODUCT I-PRODUCT O O O O B-COMMENTS_ADJ I-COMMENTS_ADJ O O O B-BANK I-BANK B-COMMENTS_N I-COMMENTS_N I-COMMENTS_N O O O O O O O B-COMMENTS_ADJ I-COMMENTS_ADJ O B-PRODUCT I-PRODUCT O O B-COMMENTS_ADJ I-COMMENTS_ADJ B-BANK I-BANK O O O O O O O O O B-COMMENTS_ADJ I-COMMENTS_ADJ I-COMMENTS_ADJ O O B-COMMENTS_ADJ I-COMMENTS_ADJ O O O O O,0 9,打電話問中信信用卡為啥沒批唄,O O O O B-BANK I-BANK B-PRODUCT I-PRODUCT I-PRODUCT O O O O O,2粗略來看這個比賽其實實現(xiàn)難度比較低的，分類和NER都是比較經(jīng)典的NLP任務(wù)，當然競爭也比較大，同時比賽中沒有組隊，一個人既要調(diào)分類，又要調(diào)NER，時間比較緊迫，好多想法都沒有來得及去嘗試。
首先數(shù)據(jù)分析
統(tǒng)計句長，選定句長；分析噪聲，刪除噪聲——原始數(shù)據(jù)中存在很多特殊字符等等
?
?訓(xùn)練集和測試集中的句長大都集中在100以內(nèi)，因此初始可以選用max_seq_length = 100
分類任務(wù)嘗試的方案
簡單的數(shù)據(jù)分析后，就是算法模型和調(diào)參了，嘗試了以下方案
1、基本模型結(jié)構(gòu)
Bert+nn.Linear
import torch.nn as nn from transformers import BertModel,BertPreTrainedModel import torch import torch.nn.functional as Fclass BertClassification(BertPreTrainedModel):def __init__(self,config):super(BertClassification, self).__init__(config)self.bert = BertModel(config=config)self.classifier = nn.Linear(config.hidden_size, config.num_labels)self.dropouts = nn.ModuleList([nn.Dropout(0.2) for _ in range(5)])# self.lcm = LCM(config.num_labels,config.hidden_size)def pooling(self,token_embeddings,input):output_vectors = []# attention_maskattention_mask = input['attention_mask']# [B,L]------>[B,L,1]------>[B,L,768],矩陣的值是0或者1input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()# 這里做矩陣點積，就是對元素相乘(序列中padding字符，通過乘以0給去掉了)[B,L,768]t = token_embeddings * input_mask_expanded# [B,768]sum_embeddings = torch.sum(t, 1)# [B,768],最大值為seq_lensum_mask = input_mask_expanded.sum(1)# 限定每個元素的最小值是1e-9，保證分母不為0sum_mask = torch.clamp(sum_mask, min=1e-9)# 得到最后的具體embedding的每一個維度的值——元素相除output_vectors.append(sum_embeddings / sum_mask)# 列拼接output_vector = torch.cat(output_vectors, 1)return output_vectordef forward(self,inputs):""":param inputs: 字典tensor，input_ids,attention_mask,token_type_ids:return:"""output = self.bert(**inputs, return_dict=True, output_hidden_states=True)embedding = output.hidden_states[-1]embedding = self.pooling(embedding,inputs)for i, dropout in enumerate(self.dropouts):if i == 0:h = self.classifier(dropout(embedding))else:hi = self.classifier(dropout(embedding))h = h + hilogists = h/len(self.dropouts)return logists,embeddingclass LCM(nn.Module):def __init__(self,num_labels,hidden_size):super(LCM,self).__init__()self.label_embeding = nn.Embedding(num_labels,hidden_size)def forward(self,token_embedding,labels):sim = torch.matmul(token_embedding, labels.T)labels = F.softmax(sim, dim=-1)return labels當然為了減少過擬合的風(fēng)險也是可以采用Bert+dropout+nn.Linear這樣的結(jié)構(gòu)
baseline采用哈工大的bert預(yù)訓(xùn)練權(quán)重bert-wmm-ext
Bert+dropout+nn.Linear相比Bert+nn.Linear有提升
2、損失函數(shù)
cross_entropy、LabelSmoothingLoss和FocalLoss，其中LabelSmoothingLoss提升較大，緩解了樣本不均衡
3、對比學(xué)習(xí)R-drop，提升明顯
4、滑動平均ema 無提升
5、標簽調(diào)整logit adjustment——Long-Tail Learning via Logit Adjustment? 谷歌論文新方法???沒有效果
6、標簽混淆模型 label confusion model——Label Confusion Learning to Enhance Text Classification Models 無提升
7、梯度裁剪——防止梯度爆炸的作用
torch.nn.utils.clip_grad_norm_(model.parameters(), max_grad_norm)無提升
8、對抗訓(xùn)練——embedding層進行擾動
FGM/PGD/FreeLB/SMART
僅驗證了FGM和PGD，PGD提升更大，訓(xùn)練時間更多
9、半監(jiān)督訓(xùn)練
測試集預(yù)測以后，選擇預(yù)測概率大于一定閾值的樣本，加入訓(xùn)練集中再訓(xùn)練；標準的做法是給測試集樣本在訓(xùn)練的時候設(shè)定一個loss的參數(shù)
實現(xiàn)比較麻煩，直接抽樣加入更簡單
10、多折交叉驗證
3579折交叉驗證——5折效果最好，融合的方式可以考慮概率融合也可以采取投票方式
?11、多模型融合
采用不同的隨機種子、不同的預(yù)訓(xùn)練權(quán)重，例如bert、roberta、ernie、nezha等多模型融合——時間來不及未驗證
12、繼續(xù)預(yù)訓(xùn)練——數(shù)據(jù)量小不建議采取，時間來不及未驗證
13、數(shù)據(jù)增強也沒有驗證——回譯、同義詞替換、隨機drop等，回譯按照經(jīng)驗來說是有效的
比賽過程中的記錄?
NER任務(wù)嘗試的方案
NER任務(wù)算是比較成熟了，嵌套實體、詞匯及增強在最新的論文中都有一定的解決方案了；由于時間有限，本次比賽僅僅參考了Chinese-DeepNER-Pytorch——天池中藥說明書實體識別挑戰(zhàn)冠軍方案的思路和CLUENER 細粒度命名實體識別給出的基線代碼，快速的實現(xiàn)了NER任務(wù)，具體方案
1、bert+crf
如圖驗證了?半監(jiān)督、對抗訓(xùn)練、dropout、和多折交叉驗證(概率融合+投票)?
2、bert+span?
如圖驗證了?半監(jiān)督、對抗訓(xùn)練、dropout、和多折交叉驗證(概率融合+投票) 、不同的損失函數(shù)(labelsmoothloss效果最好，這里緩解了實體的不均衡分布)
3、bert+softmax
如圖驗證了?半監(jiān)督、對抗訓(xùn)練、dropout、和多折交叉驗證(概率融合+投票) 、不同的損失函數(shù)
由于時間有限，并沒有驗證MRC和邱錫鵬教授組的FLATNer，也沒有驗證滑動平均，最后選取以上3個模型最佳效果做投票融合作為最終提交結(jié)果
B、法律領(lǐng)域篇章級多事件檢測——多標簽分類任務(wù)
之所以想打這個比賽，主要之前沒有做過多標簽的分類任務(wù)，對相關(guān)的真實業(yè)務(wù)場景和算法進行過實戰(zhàn)，并不清楚算法的效果如何。在之前的一篇博客——NLP分類任務(wù)中的損失函數(shù)的選擇——中寫到過對于多標簽分類任務(wù)的一些分析，這里算是一個精細的實戰(zhàn)操作。
數(shù)據(jù)分析
數(shù)據(jù)質(zhì)量比較好，并沒有噪聲，只是句長很長，大部分都是在500以內(nèi)，句子500之外甚至5000的都有幾條，鑒于比例非常小，直接把這部分數(shù)據(jù)舍棄掉。最后max_length = 512
首先模型的結(jié)構(gòu)
1、bert+nn.linear+BCEloss?
2、bert+nn.linear+MLCE(蘇劍林——將“softmax+交叉熵”推廣到多標簽分類問題)
經(jīng)過驗證2效果更好，訓(xùn)練模型收斂速度更快，最后提交的結(jié)果更好。
其他的方案嘗試
1、模型訓(xùn)練的時候評價指標選用最佳準確率的模型保存，提交的結(jié)果要好于使用mico-f1，雖然評測結(jié)果是mico-f1
2、R-drop參數(shù)alpha 1、2、4、8 均沒有不采用R-drop的效果好
3、多折交叉驗證3折和7折均沒有5折好；
4、對抗訓(xùn)練驗證了FGM/PGD/FreeLB，FGM效果最佳——還沒有驗證SMART
5、融合策略——投票優(yōu)于概率融合，投票的閾值設(shè)置也是需要調(diào)試的
6、ema滑動平均很有效果，上個比賽的使用可能出現(xiàn)了問題
ema.apply_shadow()之后驗證模型，保存最佳模型循環(huán)迭代的時候沒有執(zhí)行
ema.restore()#恢復(fù)權(quán)重系數(shù)每個epoch訓(xùn)練的模型都是在上一個滑動平均改變系數(shù)后的模型，導(dǎo)致模型的系數(shù)變動過大，效果不好，比較科學(xué)的用法如下，注意一定要ema.restore()，我在上一個比賽的時候還故意不使用ema.restore()，效果不太好，當時分析有問題
for epoch in epochs:for batch in dataloader:....loss.backforward()optimizer.zero_grad()optimizer.step()ema.update()ema.apply_shadow()model.eval()#模型評估evaluate()#保存最佳的那個模型model.save()——————這里模型就是保存的影子權(quán)重ema.restore()————————這里又恢復(fù)模型參數(shù)，這一步做了效果好一些，沒有做導(dǎo)致模型參數(shù)變化過大......#模型推理——由于保存的是影子權(quán)重所以沒有問題model.eval()test(model)7、對比學(xué)習(xí)的思想
batch內(nèi)增加樣本數(shù)，由于同樣的樣本數(shù)據(jù)，在一個batch內(nèi)有2條，經(jīng)過bert類的模型輸出向量不一致，增加了模型的泛化能力和魯棒性。具體實現(xiàn)是直接在batch內(nèi)copy一下數(shù)據(jù)
#batch:list t:tensor if args.double_copy:batch = [ t.repeat(2,1) for t in batch]8、模型輸出后dropout
并沒有效果，可能和對抗訓(xùn)練沖突了
9、多次迭代半監(jiān)督訓(xùn)練
不斷的修正預(yù)測的結(jié)果，和訓(xùn)練集一并訓(xùn)練模型，模型指標不斷上升
10、數(shù)據(jù)量小，繼續(xù)預(yù)訓(xùn)練沒有提升
11、多種預(yù)訓(xùn)練權(quán)重嘗試
具體嘗試結(jié)果記錄
1、v0_submition_MLCE_L512_rdrop4_logits_integrate.json——0.95749170938 2、v1_submition_MLCE_L512_rdrop0_logits_integrate.json——0.94833185710 3、v2_submition_MLCE_L512_rdrop2_logits_integrate.json——0.94275700935 4、v2_submition_MLCE_L512_rdrop2_vote_integrate.json——0.95243757432 5、v3_submition_MLCE_L512_rdrop0_logits_integrate.json——0.92826274849 6、v3_submition_MLCE_L512_rdrop0_vote_integrate.json——0.95147365287 7、v3_submition_MLCE_L512_rdrop0_logits_integrate_max3.json——0.94855115316 8、v3_submition_MLCE_L512_rdrop0_vote_integrate_max3.json——0.94814378315 模型訓(xùn)練的時候采用準確率驗驗證更好！——不要用micro_f1 0、v0_submition_MLCE_L512_rdrop_0_RRL_scheduler_vote_integrate_max_all_20211114.json——0.96883509834、第一名最佳 1、v0_submition_MLCE_L512_rdrop_0_RRL_scheduler_logits_integrate_max_all_20211114.json——0.96514423077——低很多 2、v0_submition_MLCE_L512_rdrop_0_RRL_scheduler_vote_integrate_max3_20211114.json——0.96628537026——低一點點 3、v0_submition_MLCE_L512_rdrop_0_RRL_scheduler_logits_integrate_max3_20211114.json——0.96739130——低一點點 4、v1_submition_MLCE_L512_rdrop_0_linear_dropouts_RRL_scheduler_logits_integrate_max_5_20211115.json——0.96508127635——linear_dropouts無效 5、v1_submition_MLCE_L512_rdrop_0_linear_dropouts_RRL_scheduler_vote_integrate_max_5_20211115.json——0.96668685645——linear_dropouts無效 6、v2_submition_MLCE_L512_rdrop_4_RRL_scheduler_vote_integrate_max_5_20211115.json——0.96840826245、第二名rdrop-4無效 7、v2_submition_MLCE_L512_rdrop_4_RRL_scheduler_logits_integrate_max_5_20211115.json——0.96566265060、logits比vote差 8、v3_submition_MLCE_L512_rdrop_2_RRL_scheduler_vote_integrate_max_5_20211115.json——0.96783980583 9、v3_submition_MLCEL512_rdrop_2_RRL_scheduler_logits_integrate_max_5_20211115.json——0.96452194829 6789來看可以增大alpha的參數(shù)來提高性能 10、v4_submition_MLCE_L512_rdrop_8_RRL_scheduler_vote_integrate_max_5_20211115.json——0.96785930867提升一點 還是r_drop = 0最佳 11、v4_submition_MLCE_L512_rdrop_8_RRL_scheduler_vote_integrate_max_3_20211115.json——0.96443640 12、v4_submition_MLCEL512_rdrop_8_RRL_scheduler_logits_integrate_max_3_20211115.json——0.96466324 13、v4_submition_MLCEL512_rdrop_0_RRL_scheduler_FGM_logits_integrate_max_5_20211115.json——0.96566 14、v4_submition_MLCE_L512_rdrop_0_RRL_scheduler_FGM_vote_integrate_max_5_20211115.json——0.96964177292——第一名 15、v5_submition_MLCEL512_rdrop_0_RRL_scheduler_PGD_logits_integrate_max_5_20211115.json——0.96597410419 16、v5_submition_MLCEL512_rdrop_0_RRL_scheduler_PGD_vote_integrate_max_5_20211115.json——0.96962332928——第二名 17、v6_submition_BCE_L512_rdrop_0_RRL_scheduler_FGM_logits_integrate_max_5_20211116.json——0.96327513546 18、v6_submition_BCE_L512_rdrop_0_RRL_scheduler_FGM_vote_integrate_max_5_20211116.json——0.96750683268 15-18來看BCE效果不好、FGM對抗訓(xùn)練更好，vote策略更好半監(jiān)督訓(xùn)練 19、v7_submition_MLCE_L512_rdrop_0_RRL_scheduler_semi_supervised_0_FGM_logits_integrate_max_5_20211116.json——0.96821071753 20、v7_submition_MLCE_L512_rdrop_0_RRL_scheduler_semi_supervised_0_FGM_vote_integrate_max_5_20211116.json——0.97019464720——第一名最高，加入prediact_result_BCE_0.csv概率大于0.9的樣本 21、v8_submition_MLCE_L512_rdrop_0_RRL_scheduler_semi_supervised_1FGM_logits_integrate_max_5_20211116.json——0.97017650639——第二名，加入prediact_result_MLCE_vote_2.csv概率大于0.8的樣本 22、v8_submition_MLCE_L512_rdrop_0_RRL_scheduler_semi_supervised_1FGM_vote_integrate_max_5_20211116.json——0.97074954296——第一名最高，加入prediact_result_MLCE_vote_2.csv概率大于0.8的樣本7折驗證 23、v9_submition_MLCE_L512_rdrop_0_RRL_scheduler_FGM_logits_integrate_max_5_20211122.json——0.96282973621 < 0.96566 v4_submition_MLCEL512_rdrop_0_RRL_scheduler_FGM_logits_integrate_max_5_20211115.json 24、v9_submition_MLCE_L512_rdrop_0_RRL_scheduler_FGM_vote_integrate_max_5_20211122.json——0.96701966717 < 0.96964177292 v4_submition_MLCE_L512_rdrop_0_RRL_scheduler_FGM_vote_integrate_max_5_20211115.json 25、v9_submition_MLCE_L512_rdrop_0_RRL_scheduler_FGM_logits_integrate_max_7_20211122.json——0.96456456456 < 0.96566 v4_submition_MLCEL512_rdrop_0_RRL_scheduler_FGM_logits_integrate_max_5_20211115.json 26、v9_submition_MLCE_L512_rdrop_0_RRL_scheduler_FGM_vote_integrate_max_7_20211122.json——0.96768347931 < 0.96964177292 v4_submition_MLCE_L512_rdrop_0_RRL_scheduler_FGM_vote_integrate_max_5_20211115.json 7折無效3折驗證 27、v10_submition_MLCE_L512_rdrop_0_RRL_scheduler_FGM_logits_integrate_max_3_20211123.json——0.96047904192 < 0.96566 28、v10_submition_MLCE_L512_rdrop_0_RRL_scheduler_FGM_vote_integrate_max_3_20211123.json——0.96107784431 < 0.96964177292 3折無效ema驗證decay=0.999 29、v11_submition_MLCE_L512_rdrop_0_RRL_scheduler_FGM_vote_integrate_vote_alpha_0.6_max_5_20211123.json 0.97174111212 > 0.96964177292 提升明顯 30、v11_submition_MLCE_L512_rdrop_0_RRL_scheduler_FGM_vote_integrate_vote_alpha_0.6_max_3_20211123.json 0.96649562330 < 0.96964177292 未提升 vote = 0.6 ema 有效 31、v11_submition_MLCE_L512_rdrop_0_RRL_scheduler_FGM_vote_integrate_vote_alpha_0.8_max_5_20211123.json 0.97055215 < 0.97174111212 vote 0.8 效果沒有 0.6好以上bs = 8 ; max_len = 512序列長度驗證 數(shù)據(jù)處理——訓(xùn)練集中把長于600的數(shù)據(jù)直接丟棄 max_len = 384 32、v12_submition_MLCE_L384_rdrop_0_RRL_scheduler_FGM_vote_integrate_vote_alpha_0.6_max_5_20211123.json 0.96489104116 < 0.97174111212 無效 下降蠻多預(yù)訓(xùn)練驗證 33、v13_submition_MLCE_L512_rdrop_0_RRL_scheduler_FGM_vote_integrate_vote_alpha_0.6_max_5_pretrained_20211123.json 0.96883509834 < 0.97174111212 下降蠻多，無效，也有可能是預(yù)訓(xùn)練出了問題沒有預(yù)訓(xùn)練好dropout驗證 34、v14_submition_MLCE_L512_rdrop_0_RRL_scheduler_FGM_vote_integrate_vote_alpha_0.6_max_5_dropout_20211123.json 0.97028502122 < 0.97174111212 可能是dropout和FGM對抗訓(xùn)練沖突了roberta 35、v15_roberta_submition_MLCE_L512_rdrop_0_RRL_scheduler_FGM_vote_integrate_vote_alpha_0.6_max_5_20211123.json 0.97014015844 < 0.97174111212 看情況拿來融合半監(jiān)督驗證 把20211124_prediact_result_MLCE_vote_0.csv > 0.9的樣本加入訓(xùn)練集中 模型bert 36、v16_bert_submition_MLCE_L512_rdrop_0_RRL_scheduler_semi_supervised_FGM_vote_integrate_vote_alpha_0.6_max_5_20211124.json 0.97289064880 > 0.97174111212 第一名把20211124_prediact_result_MLCE_vote_1.csv > 0.8的樣本加入訓(xùn)練集中 模型bert 37、v17_bert_submition_MLCE_L512_rdrop_0_RRL_scheduler_semi_supervised_1_FGM_vote_integrate_vote_alpha_0.6_max_5_20211124.json 0.97343511450 > 0.97289064880 第一名roberta/ernie驗證 把20211124_prediact_result_MLCE_vote_1.csv > 0.8的樣本加入訓(xùn)練集中 模型roberta 38、v18_roberta_submition_MLCE_L512_rdrop_0_RRL_scheduler_semi_supervised_1_FGM_vote_integrate_vote_alpha_0.6_max_5_20211124.json 0.97251069029 < 0.97343511450 感覺可以拿來融合 39、v19_ernie_submition_MLCE_L512_rdrop_0_RRL_scheduler_semi_supervised_1_FGM_vote_integrate_vote_alpha_0.6_max_5_20211124.json 0.97158570119 < 0.97174111212 感覺有點差不過也可以拿來融合 如果效果不好 可以用bert模型多跑幾個不同的隨機種子融合雙份數(shù)據(jù)驗證——batch內(nèi)復(fù)制 40、v20_bert_submition_MLCE_L512_rdrop_0_RRL_scheduler_semi_supervised_1_double_copy_FGM_vote_integrate_vote_alpha_0.6_max_5_20211124.json 0.97406164175 > 0.97343511450 batch內(nèi)復(fù)制有效——借助SIMCSE對比學(xué)習(xí)的思想對抗學(xué)習(xí) FreeLB對比FGM驗證 FGM最佳 0.97343511450 41、v21_bert_submition_MLCE_L512_rdrop_0_RRL_scheduler_semi_supervised_1_FreeLB_vote_integrate_vote_alpha_0.6_max_5_20211125.json 0.97317073171 < 0.97343511450 無效 FGM > FreeLBC、機器翻譯領(lǐng)域適應(yīng)
????????這是一個多領(lǐng)域數(shù)據(jù)的中文到英文的機器翻譯任務(wù)，機器翻譯目前來說采用神經(jīng)網(wǎng)絡(luò)來做翻譯算是比較成熟了。NMT一般都是采用transformer——seq2seq，encoder和decoder的架構(gòu)；一般是有6層；單語訓(xùn)練的預(yù)訓(xùn)練模型bert權(quán)重等可以在NMT上提升一個bleu；基本的一些知識理論就是transformer block的理解了，pre-layernorm、post-layernorm 、FFN 、attention機制、解碼和編碼器采用的詞表是采用獨立的還是采用統(tǒng)一的(個人理解統(tǒng)一的代碼實現(xiàn)起來工作量少，所有大都采用統(tǒng)一的詞表)、解碼策略(greedy search;beam serach;top-K;top-P等)。項目中完全沒有接觸過翻譯，這個比賽正好可以來學(xué)習(xí)一下。
直接采用huggingface?transformers中的機器翻譯?translation支持如下生成類模型：
這里采用MarianMTModel，可以找到基于雙語平行語料訓(xùn)練的模型。
比賽提供的訓(xùn)練數(shù)據(jù)如下：
?3個領(lǐng)域的雙語平行語料，還有一部分單語語料，賽題的意圖應(yīng)該就是要參賽者充分的利用平行雙語料來訓(xùn)練模型，同時把單語料也要利用起來，做數(shù)據(jù)增強。其他的一些方法比如對抗訓(xùn)練、半監(jiān)督訓(xùn)練等也能提點，當然也有基礎(chǔ)雙語預(yù)訓(xùn)練模型的選取，后處理也是可以考慮進來的。
單語料怎么利用起來？
根據(jù)論文Exploiting Monolingual Data at Scale for Neural Machine Translation以及知乎文章大規(guī)模利用單語數(shù)據(jù)提升神經(jīng)機器翻譯可以得到一些提升BLEU的方案，文章中給出的方案流程如下：
????????簡單來說就是把單語料模型用平行語料訓(xùn)練好的模型翻譯后，作為新的數(shù)據(jù)集添加到訓(xùn)練集中，給這個新的數(shù)據(jù)集源語言端添加部分噪聲，訓(xùn)練出一個新的模型，以這個模型作為基礎(chǔ)然后再之前的部分數(shù)據(jù)集(有一定的技巧和細節(jié))上做微調(diào)。
這個任務(wù)數(shù)據(jù)量適中，平行語料28W、單語料30W；采用3090單卡來訓(xùn)練平行語料8個epoch大概需要13個小時，所以這個比賽設(shè)備也很關(guān)鍵！看一張圖，訓(xùn)練英語到中文的模型
?訓(xùn)練時間還是很久的，英語到漢語的BLEU還是比較低的，沒有中文到英語的BLEU高。
這里不放模型代碼也不放代碼解讀，就列一下基本思路，最后展示一下實驗效果。
baseline利用MarianMTModel訓(xùn)練8個epoch的結(jié)果，BLEU：41.98844382766
論文中的第三步：
30W偽平行語料(30W英文語料翻譯為中文構(gòu)建而來)加20W平行語料的訓(xùn)練結(jié)果(不加噪聲)BLEU：44.67761919329
論文的第四步：取一部分單語料使用新模型(第一步中的模型)翻譯得到新的偽平行語料5W條，做微調(diào)結(jié)果：BLEU：43.93912
比賽采用第三步的結(jié)果最后做后處理，對翻譯結(jié)果做簡單的符號調(diào)整，人工過濾最后得分BLEU：45.88338754782
比賽最后的后處理方案思路是來自第二名的交流——感謝！
以上代碼在我的github上dataFountionCompetition_translatino_ner_mutillabel_classification
二、比賽的感悟和思考
經(jīng)過這次比賽發(fā)現(xiàn)自己的積累還是不夠，需要再這個領(lǐng)域更多的積累。通過這次比賽熟悉了更多的比賽技巧和煉丹知識，收獲頗多！
1、賽題解析和方案預(yù)研
針對一個賽題一定好做好預(yù)研，看看以往相關(guān)的最優(yōu)方案，也需要收集更多的資料，豐富自己的方案庫。
2、細心耐心
方案的嘗試和調(diào)參的過程中，一定要能堅持到底，同時保證每一步的正確性，做好記錄，消融實驗，確認實驗方案中的正向變量和因素。
3、團隊的重要性
如果能找到志同道合的人一起參加比賽，多多討論交流，把不同的想法實現(xiàn)出來，融合在一起，會得到更高的提升。
期待下次比賽能有所突破，取得更好的成績！
總結(jié)
以上是生活随笔為你收集整理的datafountain自然语言处理比赛的学习和总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： python urllib模块
- 下一篇： HW7-智能巡逻兵