華校專老師更新了個人筆記，增加了 Transformer筆記，包含XLNet, MT-DNN, ERNIE, ERNIE2, RoBERTa 等內(nèi)容，內(nèi)容十分詳細，非常值得學習，特此推薦。

作者華校專，曾任阿里巴巴資深算法工程師、智易科技首席算法研究員，現(xiàn)任騰訊高級研究員，《Python 大戰(zhàn)機器學習》的作者。華老師也是我們的知識星球的嘉賓。

這是作者多年以來學習總結的筆記，經(jīng)整理之后開源于世。

筆記地址：

http://www.huaxiaozhuan.com/深度學習/chapters/7_Transformer.html

Transformer簡介

Transformer?是一種新的、基于?attention?機制來實現(xiàn)的特征提取器，可用于代替?CNN?和?RNN?來提取序列的特征。

Transformer?首次由論文?《Attention Is All You Need》?提出，在該論文中?Transformer?用于?encoder - decoder?架構。事實上?Transformer?可以單獨應用于?encoder?或者單獨應用于?decoder?。

Transformer筆記目錄

一、Transformer

• 1.1 結構

• 1.2 Transformer vs CNN vs RNN

• 1.3 實驗結果

二、Universal Transformer

• 2.1 結構

• 2.2 ACT

• 2.3 實驗結果

三、Transformer XL

• 3.1 Segment-level 遞歸

• 3.2 相對位置編碼

• 3.3 實驗結果

四、GPT

• 4.1 GPT V1

• 4.2 GPT V2

五、BERT

• 5.1 預訓練

• 5.2 模型結構

• 5.3 微調(diào)

• 5.4 性能

六、ERNIE

• 6.1 ERNIE 1.0

• 6.2 ERNIE 2.0

七、XLNet

• 7.1 自回歸語言模型 vs 自編碼語言模型

• 7.2 Permutation Language Model

• 7.3 Two-Stream Self-Attention

• 7.4 Partial Prediction

• 7.5 引入 Transformer XL

• 7.6 多輸入

• 7.7 模型比較

• 7.8 實驗

八、MT-DNN

• 8.1 模型

• 8.2 實驗

九、BERT 擴展

• 9.1 BERT-wwm-ext

• 9.2 RoBERTa

筆記截圖

筆記截圖

其他

華校專老師的個人網(wǎng)站：

http://www.huaxiaozhuan.com/

筆記地址：

http://www.huaxiaozhuan.com/深度學習/chapters/7_Transformer.html

github：

https://github.com/huaxz1986

筆記內(nèi)容較多，歡迎大家探討。請點擊“閱讀原文”

本站簡介↓↓↓?

“機器學習初學者”是幫助人工智能愛好者入門的個人公眾號（創(chuàng)始人：黃海廣）

初學者入門的道路上，最需要的是“雪中送炭”，而不是“錦上添花”。

本站的知識星球（黃博的機器學習圈子）ID：92416895

目前在機器學習方向的知識星球排名第一（上圖二維碼）

往期精彩回顧

• 良心推薦：機器學習入門資料匯總及學習建議
  

• 黃海廣博士的github鏡像下載（機器學習及深度學習筆記及資源）

• 機器學習小抄-（像背托福單詞一樣理解機器學習）
  

• 首發(fā)：深度學習入門寶典-《python深度學習》原文代碼中文注釋版及電子書

• 機器學習必備寶典-《統(tǒng)計學習方法》的python代碼實現(xiàn)、電子書及課件
  

• 重磅 | 完備的 AI 學習路線，最詳細的資源整理！
  

• 圖解word2vec(原文翻譯)

• 斯坦福CS229機器學習課程的數(shù)學基礎（概率論和線性）

備注：本站qq群：865189078（共8個群，不用重復加）。

加入本站微信群，請加黃博的助理微信，說明：公眾號用戶加群。

總結

以上是生活随笔為你收集整理的非常详细的transformer笔记，包括XLNet, MT-DNN, ERNIE, ERNIE2, RoBERTa的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。