??

預(yù)訓(xùn)練語言模型屬于人工智能領(lǐng)域中自然語言處理領(lǐng)域的一個細(xì)分，是自然語言處理領(lǐng)域的重要突破，得到了越來越廣泛的關(guān)注，相關(guān)研究者和從業(yè)人員在實際應(yīng)用的過程中，亟需一本理論翔實、代碼細(xì)節(jié)充分的參考書。本次給大家贈送3本新書，即《預(yù)訓(xùn)練語言模型》。

本書內(nèi)容

本書詳細(xì)梳理了預(yù)訓(xùn)練語言模型的基本概念和理論基礎(chǔ)，并通過實際代碼的講解， 闡述了具有代表性的預(yù)訓(xùn)練語言模型的實現(xiàn)細(xì)節(jié)，非常適合需要快速、全面掌握預(yù)訓(xùn)練語言模型的從業(yè)者閱讀。全書共8章，約200頁，全彩色印刷。

第1章：預(yù)訓(xùn)練語言模型簡介

講解自然語言處理的研究進(jìn)展，預(yù)訓(xùn)練語言模型自然語言表示，預(yù)訓(xùn)練語言模型發(fā)展史及分類。

第2章 預(yù)訓(xùn)練語言模型基礎(chǔ)知識

講解統(tǒng)計語言模型，神經(jīng)網(wǎng)絡(luò)語言模型，詞向量，RNN和LSTM基礎(chǔ)，基于RNN的語言模型，ELMo模型。

第3章?Transformer與Attention

講解Transformer 的結(jié)構(gòu)，Self-Attention的思想，位置編碼與單向掩碼，模型的訓(xùn)練技巧。

第4章 GPT系列模型

講解GPT的結(jié)構(gòu)，如何在不同任務(wù)中使用，GPT的核心代碼解讀 ，GPT-2與GPT-3的特點。

第5章 BERT模型

講解BERT的特征提取能力，無監(jiān)督訓(xùn)練，微調(diào)訓(xùn)練用于句對分類，單句分類，文本問答，單句標(biāo)注等下游任務(wù)，核心代碼解讀。

第6章 后BERT時代的模型

講解跨語言模型XLM，多任務(wù)融合MT-DNN，文本生成模型UniLM，更大掩碼范圍的SpanBERT，置換自回歸模型XLNet，用于知識圖譜的ERNIE，多模態(tài)融合模型VideoBERT等。

第7章 評測和應(yīng)用

講解自然語言處理的通用評測任務(wù) ，領(lǐng)域評測任務(wù) ，其他評測任務(wù)，以及Transformers 代碼實戰(zhàn)，多模態(tài)預(yù)訓(xùn)練模型。

第8章 總結(jié)和展望

講解預(yù)訓(xùn)練語言模型的發(fā)展現(xiàn)狀和未來展望。

本書作者：

邵浩?日本國立九州大學(xué)工學(xué)博士，現(xiàn)就職于vivo。曾任狗尾草智能科技AI研究院院長，帶領(lǐng)團(tuán)隊打造了AI虛擬生命產(chǎn)品的交互引擎。曾是上海對外經(jīng)貿(mào)大學(xué)副教授，碩士生導(dǎo)師。是上海市靜安區(qū)首屆優(yōu)秀人才，上海市人才發(fā)展基金獲得者，杭州市高層次人才。任中國中文信息學(xué)會青年工作委員會委員，語言與知識計算專委會委員，中國計算機(jī)學(xué)會語音對話與聽覺專業(yè)組委員，中文信息技術(shù)專委會委員。發(fā)表論文50余篇，獲專利10余項，主持多項***及省部級課題，曾在聯(lián)合國、世界貿(mào)易組織、亞利桑那州立大學(xué)、香港城市大學(xué)等機(jī)構(gòu)任訪問學(xué)者。劉一烽全國中學(xué)生物理競賽保送生，清華大學(xué)電子系碩士，曾獲學(xué)習(xí)成績優(yōu)異獎學(xué)金。現(xiàn)任vivo人工智能研究院AI算法工程師，主要研究方向為強(qiáng)化學(xué)習(xí)、自然語言處理，主導(dǎo)游戲AI和機(jī)器翻譯核心算法研發(fā)工作。

贈書

接下來是福利時間，本次我們贈送出3本書籍，想要獲得書籍的同學(xué)，在本公眾號下方留言，根據(jù)點贊數(shù)的高低，下周一上午（6.21）10:00統(tǒng)計出獲獎讀者，屆時聯(lián)系有三微信Longlongtogo即可。

如果沒有獲得贈書，也可以在當(dāng)當(dāng)購買，鏈接如下：

往期相關(guān)

• 【CV春季劃】2021年有三AI-CV春季劃出爐，最后一屆言有三手把手從零帶學(xué)

• 【CV夏季劃】告別入門，提升眼界，從掌握最有價值的那些CV方向開始
  

• 【CV秋季劃】生成對抗網(wǎng)絡(luò)GAN有哪些研究和應(yīng)用，如何循序漸進(jìn)地學(xué)習(xí)好？

• 【CV秋季劃】模型優(yōu)化很重要，如何循序漸進(jìn)地學(xué)習(xí)好？

• 【CV秋季劃】人臉?biāo)惴敲炊?#xff0c;如何循序漸進(jìn)地學(xué)習(xí)好？

• 【CV秋季劃】圖像質(zhì)量提升與編輯有哪些研究和應(yīng)用，如何循序漸進(jìn)地學(xué)習(xí)好？

總結(jié)

以上是生活随笔為你收集整理的【赠书】如何掌握好自然语言处理中的预训练语言模型？你需要读这本书的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。