Albert 歷史意義:

1、Albert 各層之間采用參數共享和embedding因式分解減少參數量

2、在nlp預訓練模型中正式采用輕量級bert模型

nlp領域(各個下游任務都有自身的模型)? ? <--------? 2020(ALbert)? -----------> nlp領域(采用輕量級bert模型Albert)

?

論文主要結構:

一、Abstract

? ? ? ? 介紹背景及提出Albert模型在多個數據集上的效果都表現優異

? ? ? ? 1、增加model size提高模型在下游任務中的表現，但是同時會增加訓練時間且受限于內存限制

? ? ? ? ?2、提出兩種減少參數的策略來降低內存消耗和提高訓練bert的速度

? ? ? ? ?3、用一種句子間連貫性自監督loss，并且有助于下游任務的輸入

? ? ? ? ?4、實驗證明模型效果較好且參數少很多

二、Introduction

? ? ? ? 介紹現在的預訓練模型都面臨著參數量比較大的問題，因此提出輕量級bert模型

三、Related Work

? ? ? ? 介紹目前參數共享和sentence ordered objectives的工作

四、Architecture

? ? ? ? ?AlBert 網絡結構及其內部細節，1、Factorized embedding parameterization? ? 2、Cross-layer parameter sharing? ? 3、inter-sentence coherence loss

? ? ?1、Factorized embedding parameterization

? ? ? ? 在bert系列的模型中，wordEmbedding的維度E設置和Hidden Layer的維度H相等，存在的問題

? ? ? ? 1）WordEmbedding學習到的是context-independent的representation. Hidden Layer Embedding學習到的是context dependent 的 representation,把 E和H分開可以更高效的利用參數存儲context信息H要遠大于E

? ? ? ? 2)? NLP任務中的vocab size很大，如果E==H模型參數量就很大，而embedding在實際的訓練過程就會過于稀疏? ? ? ?

? ? ? ?O(V * H) >> O(V*E + E*H)? 注: V-30w，H-768

? ? ?2、Cross-layer parameter sharing

? ? ? ? 不同layer參數共享問題，主要包含三個部分，1）只共享attention相關參數? ?2）只共享FFN相關參數? 3）共享所有參數

? ? ?3、Inter-sentence coherence loss

? ? ? ? NSP(next-sentece prediction) 正樣本上下相鄰兩個句子，負樣本隨機從訓練集中抽取兩個句子

? ? ? ? NSP效果不佳的原因：將主題預測和連貫性預測結合在一起，但主題預測比連續性預測簡單的多，并且與MLM損失的學習到的內容有重合

? ? ? ? SOP: 正樣本正常順序的兩個相鄰的句子，負樣本調換順序的兩個相鄰句子

五、Experiments

? ? ? ? AlBert在各個nlp下游任務中結果對比

? ? ? ? Bert：為了加速訓練，前90%的steps使用128個token短句，最后10%才使用512個token的長句來訓練position embedding

? ? ? ? ALBERT： 在90%的情況下，輸入的segment取512個token，從數據上來看，更長的數據能夠提供更多的上下文信息? ? ? ?

六、Discussion

? ? ? ? ?討論模型未來方向

七、ConClusion

? ? ? ? 關鍵點:

? ? ? ? ?1、減少參數量的兩個細節 - Factorized embedding parameterization 和 cross-layer parameter sharing

? ? ? ? ?2、句子連貫性 - Inter-sentence coherence loss

? ? ? 啟發點:

? ? ? ? ?1、參數量過大，可以參考參數共享的方式

八、Code

? ? ? ? 參考代碼:https://github.com/brightmart/albert_zh

?

?

?

總結

以上是生活随笔為你收集整理的Albert: A lite bert for self-supervised learning of language representations (Albert)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。