編輯 憶臻
公眾號 | 機器學習算法與自然語言處理?yizhennotes

1.??Bert官方源碼公開

終于是千呼萬喚始出來，Google AI 發表于10月中旬的論文：

《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding?》一下子在NLP領域擊其千層浪。文中提出的BERT模型，在11項NLP任務（包括閱讀理解，文本分類、推斷，命名實體識別等）中都取得了start of art 的突破性成績！

這個成績著實嚇死了一批研究人員，其中的一些任務也可以說宣布沒有什么研究空間了。

截止發稿前，短短時間，BERT已經獲得近8k star，可見其受關注程度。

2.??項目倉庫包含的內容

• 用于BERT模型架構的TensorFlow代碼（主要是標準的Transformer架構）。

• BERT-Base和BERT-Large模型小寫和Cased版本的預訓練檢查點。

• 論文里微調試驗的TensorFlow代碼，比如SQuAD，MultiNLI和MRPC。
  此項目庫中的所有代碼都可以直接用在CPU，GPU和云TPU上。

3.??大家關心的問題，是否支持其它語言（如漢語）

目前放出的預訓練模型是英語的，我們大家肯定都會關心是否會有漢語或者其它語言預訓練model的公布。

多語言模型支持的語言是維基百科上語料最大的前100種語言（泰語除外）。多語言模型也包含中文（和英文），但如果你的微調數據僅限中文，那么中文模型可能會產生更好的結果。

就是這里列出的1-60號語言：

https://meta.wikimedia.org/wiki/List_of_Wikipedias#All_Wikipedias_ordered_by_number_of_articles

4.??最后再看看BERT的屠榜和官方代碼地址

地址點擊：https://github.com/google-research/bert

論文（https://arxiv.org/abs/1810.04805）

作者公眾號：

請關注和分享↓↓↓?

機器學習初學者

QQ群：774999266或者654173748（二選一）

往期精彩回顧

• 機器學習簡易入門-附推薦學習資料

• 機器學習初學者公眾號下載資源匯總（一）
  

• 黃海廣博士的github鏡像下載（機器學習及深度學習資源）

• 吳恩達老師的機器學習和深度學習課程筆記打印版
  

• 機器學習小抄-（像背托福單詞一樣理解機器學習）

• 首發：深度學習入門寶典-《python深度學習》原文代碼中文注釋版及電子書

• 科研工作者的神器-zotero論文管理工具

• 機器學習的數學基礎

• 機器學習必備寶典-《統計學習方法》的python代碼實現、電子書及課件

總結

以上是生活随笔為你收集整理的革命性提升-宇宙最强的NLP预训练BERT模型（附官方代码）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。