革命性提升-宇宙最强的NLP预训练BERT模型（附官方代码）
編輯 憶臻
公眾號 | 機器學習算法與自然語言處理?yizhennotes
1.??Bert官方源碼公開
終于是千呼萬喚始出來，Google AI 發表于10月中旬的論文：
《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding?》一下子在NLP領域擊其千層浪。文中提出的BERT模型，在11項NLP任務（包括閱讀理解，文本分類、推斷，命名實體識別等）中都取得了start of art 的突破性成績！
這個成績著實嚇死了一批研究人員，其中的一些任務也可以說宣布沒有什么研究空間了。
截止發稿前，短短時間，BERT已經獲得近8k star，可見其受關注程度。
2.??項目倉庫包含的內容
用于BERT模型架構的TensorFlow代碼（主要是標準的Transformer架構）。
BERT-Base和BERT-Large模型小寫和Cased版本的預訓練檢查點。
論文里微調試驗的TensorFlow代碼，比如SQuAD，MultiNLI和MRPC。
此項目庫中的所有代碼都可以直接用在CPU，GPU和云TPU上。
3.??大家關心的問題，是否支持其它語言（如漢語）
目前放出的預訓練模型是英語的，我們大家肯定都會關心是否會有漢語或者其它語言預訓練model的公布。
多語言模型支持的語言是維基百科上語料最大的前100種語言（泰語除外）。多語言模型也包含中文（和英文），但如果你的微調數據僅限中文，那么中文模型可能會產生更好的結果。
就是這里列出的1-60號語言：
https://meta.wikimedia.org/wiki/List_of_Wikipedias#All_Wikipedias_ordered_by_number_of_articles
4.??最后再看看BERT的屠榜和官方代碼地址
地址點擊：https://github.com/google-research/bert
論文（https://arxiv.org/abs/1810.04805）
作者公眾號：
請關注和分享↓↓↓?
機器學習初學者
QQ群：774999266或者654173748（二選一）
往期精彩回顧
機器學習簡易入門-附推薦學習資料
機器學習初學者公眾號下載資源匯總（一）
黃海廣博士的github鏡像下載（機器學習及深度學習資源）
吳恩達老師的機器學習和深度學習課程筆記打印版
機器學習小抄-（像背托福單詞一樣理解機器學習）
首發：深度學習入門寶典-《python深度學習》原文代碼中文注釋版及電子書
科研工作者的神器-zotero論文管理工具
機器學習的數學基礎
機器學習必備寶典-《統計學習方法》的python代碼實現、電子書及課件
總結
以上是生活随笔為你收集整理的革命性提升-宇宙最强的NLP预训练BERT模型（附官方代码）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 两天入门Python基础（附代码实现）
- 下一篇： 首发：台大林轩田《机器学习基石》系列课程