BERT相關(guān)論文、文章和代碼資源匯總

4條回復(fù)

BERT最近太火，蹭個(gè)熱點(diǎn)，整理一下相關(guān)的資源，包括Paper, 代碼和文章解讀。

1、Google官方:

1)?BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

一切始于10月Google祭出的這篇Paper, 瞬間引爆整個(gè)AI圈包括自媒體圈:?https://arxiv.org/abs/1810.04805

2) Github:?https://github.com/google-research/bert

11月Google推出了代碼和預(yù)訓(xùn)練模型，再次引起群體亢奮。

3) Google AI Blog:?Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing

2、第三方解讀：
1) 張俊林博士的解讀， 知乎專(zhuān)欄：從Word Embedding到Bert模型—自然語(yǔ)言處理中的預(yù)訓(xùn)練技術(shù)發(fā)展史

我們?cè)贏INLP微信公眾號(hào)上轉(zhuǎn)載了這篇文章和張俊林博士分享的PPT，歡迎關(guān)注：

• 從Word Embedding到Bert模型—自然語(yǔ)言處理中的預(yù)訓(xùn)練技術(shù)發(fā)展史
• 預(yù)訓(xùn)練在自然語(yǔ)言處理的發(fā)展: 從Word Embedding到BERT模型

2)?知乎: 如何評(píng)價(jià) BERT 模型？

3)?【NLP】Google BERT詳解

4)?[NLP自然語(yǔ)言處理]谷歌BERT模型深度解析

5)?BERT Explained: State of the art language model for NLP

6)?BERT介紹

7)?論文解讀:BERT模型及fine-tuning

8)?NLP突破性成果 BERT 模型詳細(xì)解讀

9)?干貨 | BERT fine-tune 終極實(shí)踐教程: 奇點(diǎn)智能BERT實(shí)戰(zhàn)教程，在AI Challenger 2018閱讀理解任務(wù)中訓(xùn)練一個(gè)79+的模型。

10) 【BERT詳解】《Dissecting BERT》by Miguel Romero Calvo
Dissecting BERT Part 1: The Encoder
Understanding BERT Part 2: BERT Specifics
Dissecting BERT Appendix: The Decoder

11）BERT+BiLSTM-CRF-NER用于做ner識(shí)別

12）AI賦能法律 | NLP最強(qiáng)之谷歌BERT模型在智能司法領(lǐng)域的實(shí)踐淺談

3、第三方代碼：

1) pytorch-pretrained-BERT:?https://github.com/huggingface/pytorch-pretrained-BERT
Google官方推薦的PyTorch BERB版本實(shí)現(xiàn)，可加載Google預(yù)訓(xùn)練的模型：PyTorch version of Google AI's BERT model with script to load Google's pre-trained models

2) BERT-pytorch:?https://github.com/codertimo/BERT-pytorch
另一個(gè)Pytorch版本實(shí)現(xiàn)：Google AI 2018 BERT pytorch implementation

3) BERT-tensorflow:?https://github.com/guotong1988/BERT-tensorflow
Tensorflow版本：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

4) bert-chainer:?https://github.com/soskek/bert-chainer
Chanier版本: Chainer implementation of "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"

5) bert-as-service:?https://github.com/hanxiao/bert-as-service
將不同長(zhǎng)度的句子用BERT預(yù)訓(xùn)練模型編碼，映射到一個(gè)固定長(zhǎng)度的向量上：Mapping a variable-length sentence to a fixed-length vector using pretrained BERT model
這個(gè)很有意思，在這個(gè)基礎(chǔ)上稍進(jìn)一步是否可以做一個(gè)句子相似度計(jì)算服務(wù)？有沒(méi)有同學(xué)一試？

6) bert_language_understanding:?https://github.com/brightmart/bert_language_understanding
BERT實(shí)戰(zhàn)：Pre-training of Deep Bidirectional Transformers for Language Understanding: pre-train TextCNN

7) sentiment_analysis_fine_grain:?https://github.com/brightmart/sentiment_analysis_fine_grain
BERT實(shí)戰(zhàn)，多標(biāo)簽文本分類(lèi)，在 AI Challenger 2018 細(xì)粒度情感分析任務(wù)上的嘗試：Multi-label Classification with BERT; Fine Grained Sentiment Analysis from AI challenger

8) BERT-NER:?https://github.com/kyzhouhzau/BERT-NER
BERT實(shí)戰(zhàn)，命名實(shí)體識(shí)別: Use google BERT to do CoNLL-2003 NER !

9) BERT-keras:?https://github.com/Separius/BERT-keras
Keras版: Keras implementation of BERT with pre-trained weights

10) tbert:?https://github.com/innodatalabs/tbert
PyTorch port of BERT ML model

11) BERT-Classification-Tutorial:?https://github.com/Socialbird-AILab/BERT-Classification-Tutorial

12) BERT-BiLSMT-CRF-NER:?https://github.com/macanv/BERT-BiLSMT-CRF-NER
Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning

13)?bert-Chinese-classification-task
bert中文分類(lèi)實(shí)踐

14)?bert-chinese-ner:?https://github.com/ProHiryu/bert-chinese-ner
使用預(yù)訓(xùn)練語(yǔ)言模型BERT做中文NER

15）BERT-BiLSTM-CRF-NER
Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning

16) bert-sequence-tagging:?https://github.com/zhpmatrix/bert-sequence-tagging
基于BERT的中文序列標(biāo)注

總結(jié)

以上是生活随笔為你收集整理的我爱自然语言处理bert ner chinese的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。