BERT相關論文、文章和代碼資源匯總

4條回復

BERT最近太火，蹭個熱點，整理一下相關的資源，包括Paper, 代碼和文章解讀。

1、Google官方:

1)?BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

一切始于10月Google祭出的這篇Paper, 瞬間引爆整個AI圈包括自媒體圈:?https://arxiv.org/abs/1810.04805

2) Github:?https://github.com/google-research/bert

11月Google推出了代碼和預訓練模型，再次引起群體亢奮。

3) Google AI Blog:?Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing

2、第三方解讀：
1) 張俊林博士的解讀， 知乎專欄：從Word Embedding到Bert模型—自然語言處理中的預訓練技術發展史

我們在AINLP微信公眾號上轉載了這篇文章和張俊林博士分享的PPT，歡迎關注：

• 從Word Embedding到Bert模型—自然語言處理中的預訓練技術發展史
• 預訓練在自然語言處理的發展: 從Word Embedding到BERT模型

2)?知乎: 如何評價 BERT 模型？

3)?【NLP】Google BERT詳解

4)?[NLP自然語言處理]谷歌BERT模型深度解析

5)?BERT Explained: State of the art language model for NLP

6)?BERT介紹

7)?論文解讀:BERT模型及fine-tuning

8)?NLP突破性成果 BERT 模型詳細解讀

9)?干貨 | BERT fine-tune 終極實踐教程: 奇點智能BERT實戰教程，在AI Challenger 2018閱讀理解任務中訓練一個79+的模型。

10) 【BERT詳解】《Dissecting BERT》by Miguel Romero Calvo
Dissecting BERT Part 1: The Encoder
Understanding BERT Part 2: BERT Specifics
Dissecting BERT Appendix: The Decoder

11）BERT+BiLSTM-CRF-NER用于做ner識別

12）AI賦能法律 | NLP最強之谷歌BERT模型在智能司法領域的實踐淺談

3、第三方代碼：

1) pytorch-pretrained-BERT:?https://github.com/huggingface/pytorch-pretrained-BERT
Google官方推薦的PyTorch BERB版本實現，可加載Google預訓練的模型：PyTorch version of Google AI's BERT model with script to load Google's pre-trained models

2) BERT-pytorch:?https://github.com/codertimo/BERT-pytorch
另一個Pytorch版本實現：Google AI 2018 BERT pytorch implementation

3) BERT-tensorflow:?https://github.com/guotong1988/BERT-tensorflow
Tensorflow版本：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

4) bert-chainer:?https://github.com/soskek/bert-chainer
Chanier版本: Chainer implementation of "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"

5) bert-as-service:?https://github.com/hanxiao/bert-as-service
將不同長度的句子用BERT預訓練模型編碼，映射到一個固定長度的向量上：Mapping a variable-length sentence to a fixed-length vector using pretrained BERT model
這個很有意思，在這個基礎上稍進一步是否可以做一個句子相似度計算服務？有沒有同學一試？

6) bert_language_understanding:?https://github.com/brightmart/bert_language_understanding
BERT實戰：Pre-training of Deep Bidirectional Transformers for Language Understanding: pre-train TextCNN

7) sentiment_analysis_fine_grain:?https://github.com/brightmart/sentiment_analysis_fine_grain
BERT實戰，多標簽文本分類，在 AI Challenger 2018 細粒度情感分析任務上的嘗試：Multi-label Classification with BERT; Fine Grained Sentiment Analysis from AI challenger

8) BERT-NER:?https://github.com/kyzhouhzau/BERT-NER
BERT實戰，命名實體識別: Use google BERT to do CoNLL-2003 NER !

9) BERT-keras:?https://github.com/Separius/BERT-keras
Keras版: Keras implementation of BERT with pre-trained weights

10) tbert:?https://github.com/innodatalabs/tbert
PyTorch port of BERT ML model

11) BERT-Classification-Tutorial:?https://github.com/Socialbird-AILab/BERT-Classification-Tutorial

12) BERT-BiLSMT-CRF-NER:?https://github.com/macanv/BERT-BiLSMT-CRF-NER
Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning

13)?bert-Chinese-classification-task
bert中文分類實踐

14)?bert-chinese-ner:?https://github.com/ProHiryu/bert-chinese-ner
使用預訓練語言模型BERT做中文NER

15）BERT-BiLSTM-CRF-NER
Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning

16) bert-sequence-tagging:?https://github.com/zhpmatrix/bert-sequence-tagging
基于BERT的中文序列標注

總結

以上是生活随笔為你收集整理的我爱自然语言处理bert ner chinese的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。