我們正處在信息爆炸的時(shí)代、面對每天鋪天蓋地的網(wǎng)絡(luò)資源和論文、很多時(shí)候我們面臨的問題并不是缺資源，而是找準(zhǔn)資源并高效學(xué)習(xí)。其次，即便網(wǎng)絡(luò)上的資源非常多，學(xué)習(xí)是需要成本的，而且越有深度的內(nèi)容越難找到好的學(xué)習(xí)資源。如果一門課程幫助你清晰地梳理知識體系，而且把有深度的知識點(diǎn)脈絡(luò)講清楚，這就是節(jié)省最大的成本。為了迎合大家學(xué)習(xí)的需求，我們這次重磅推出了《自然語言處理高階研修》。

首先，全網(wǎng)不可能找得到另外一門系統(tǒng)性的訓(xùn)練營具備如此的深度和廣度，這里包括國外的課程，所以從內(nèi)容的角度來講是非常稀缺的內(nèi)容。

課程覆蓋了從預(yù)訓(xùn)練模型、對話系統(tǒng)、信息抽取、知識圖譜、文本生成所有必要的技術(shù)應(yīng)用和學(xué)術(shù)前沿，30+項(xiàng)目案例幫助你在實(shí)戰(zhàn)中學(xué)習(xí)成長。課程采用全程直播授課模式，博導(dǎo)級大咖全程輔導(dǎo)答疑、幫你告別疑難困惑。

適合什么樣的人來參加吶？

• 從事AI行業(yè)多年，但技術(shù)上感覺不夠深入，遇到了瓶頸；?

• 停留在使用模型/工具上，很難基于業(yè)務(wù)場景來提出新的模型；?

• 對于機(jī)器學(xué)習(xí)背后的優(yōu)化理論、前沿的技術(shù)不夠深入；

• 計(jì)劃從事尖端的科研、研究工作、申請AI領(lǐng)域研究生、博士生；?

• 打算進(jìn)入頂尖的AI公司如Google，Facebook，Amazon， 阿里等；

• 讀ICML，IJCAI等會議文章比較吃力，似懂非懂，無法把每個(gè)細(xì)節(jié)理解透。

如果對課程感興趣，請聯(lián)系

添加課程顧問小姐姐微信

報(bào)名、課程咨詢

????????????

01 課程大綱

課程內(nèi)容上做了大幅度的更新，課程采用全程直播授課模式。帶你全面掌握自然語言處理技術(shù)，能夠靈活應(yīng)用在自己的工作中；深入理解前沿的技術(shù)，為后續(xù)的科研打下基礎(chǔ)；快速掌握理解預(yù)訓(xùn)練技術(shù)、對話技術(shù)、生成技術(shù)以及知識圖譜的常用技術(shù)；通過完成一系列課題，有可能成為一個(gè)創(chuàng)業(yè)項(xiàng)目或者轉(zhuǎn)換成你的科研論文。

模塊一?預(yù)訓(xùn)練模型

第一章：預(yù)訓(xùn)練模型基礎(chǔ)

| 預(yù)訓(xùn)練模型基礎(chǔ)、語言模型回顧

| N-gram、Neural語言模型回顧

| 預(yù)訓(xùn)練方法的發(fā)展歷程

| 預(yù)訓(xùn)練和transfer learning

| Pre-BERT時(shí)代的transfer learning

| word2vec，transfer learning in NER

| Post-BERT時(shí)代的transfer learning

| Pre-train fine-tune范式

第二章：ELmo與BERT

| Elmo、Transformer、BERT

| 更強(qiáng)的BERT：RoBERTa

| 基于Elmo和BERT的NLP下游任務(wù)

| Huggingface Transformers庫介紹?

| 構(gòu)建基于BERT的情感分類器

?第三章: GPT系列模型

| GPT、GPT2、GPT3?

| 基于GPT的fine-tuning

| 基于GPT的Zero-shot learning

| 基于GPT模型的文本生成實(shí)戰(zhàn)

| Top-k + Top-p 采樣

| 基于給定Prompt生成續(xù)寫文本

第四章: Transformer-XL與XLNet

| 處理長文本?

| Transformer-XL

| 相對位置編碼

| Permutation Language Model

| Two-stream attention

| XLNet

| 更進(jìn)階的預(yù)訓(xùn)練任務(wù)：MPNet

第五章：其他前沿的預(yù)訓(xùn)練模型

| 考慮知識的預(yù)訓(xùn)練模型：ERINE

| 對話預(yù)訓(xùn)練模型：PLATO2, DialoGPT

| SpanBERT

| MASS，UniLM

| BART，T5

| 實(shí)現(xiàn)基于T5的文本分類模型

第六章: 低計(jì)算量下模型微調(diào)和對比學(xué)習(xí)

| 低計(jì)算量情況下的預(yù)訓(xùn)練模型微調(diào)

| Adapter-based fine-tuning，

| Prompt-search，P-tuning?

| 基于對比學(xué)習(xí)的預(yù)訓(xùn)練

| 對比學(xué)習(xí)目標(biāo)：Triplet Loss，InfoNCE Loss

| 對比學(xué)習(xí)在NLP中的前沿應(yīng)用：SimCSE

第七章：多模態(tài)預(yù)訓(xùn)練和挑戰(zhàn)

| 多模態(tài)預(yù)訓(xùn)練模型

| 多模態(tài)匹配模型：CLIP，文瀾

| VQ-VAE

| 多模態(tài)生成模型：DALLE，CogView

| 預(yù)訓(xùn)練模型面臨的挑戰(zhàn)及其前沿進(jìn)展

| 模型并行帶來的挑戰(zhàn)

| 對于Transformer的改進(jìn)：Reformer

模塊二?對話系統(tǒng)

第一章：對話系統(tǒng)綜述

| 對話系統(tǒng)發(fā)展歷程

| 對話系統(tǒng)的主要應(yīng)用場景

| 常見的對話系統(tǒng)類別以及采用的技術(shù)

| 對話系統(tǒng)前沿的技術(shù)介紹

| 基礎(chǔ)：語言模型

| 基礎(chǔ)：基于神經(jīng)網(wǎng)絡(luò)的語言模型

第二章：對話系統(tǒng)綜述

| 任務(wù)型對話系統(tǒng)的總體架構(gòu)

| 案例：訂票系統(tǒng)的搭建

| 自然語言理解模塊簡介

| 對話管理模塊技術(shù)

| 對話生成模型技術(shù)

| 基于神經(jīng)網(wǎng)絡(luò)的文本分類和序列標(biāo)注

第三章：自然語言處理理解模塊

| 自然語言理解模塊面臨的挑戰(zhàn)

| NLU模型中意圖和槽位的聯(lián)合識別

| 考慮長上下文的NLU

| NLU中的OOD檢測

| NLU模型的可擴(kuò)展性和少樣本學(xué)習(xí)

| 少樣本學(xué)習(xí)方法介紹

| 孿生網(wǎng)絡(luò)、匹配網(wǎng)絡(luò)、原型網(wǎng)絡(luò)

第四章：對話管理和對話生成

| 對話狀態(tài)追蹤

| 對話策略詳解

| POMDP技術(shù)

| 對話管理的最新研究進(jìn)展

| 基于RL的對話管理

| 對話生成技術(shù)

| 端到端的對話系統(tǒng)

| 基于預(yù)訓(xùn)練模型的DST

第五章：閑聊對話系統(tǒng)

| 閑聊對話系統(tǒng)基礎(chǔ)技術(shù)

| 基于檢索的閑聊對話系統(tǒng)

| 基于生成的閑聊對話系統(tǒng)

| 融合檢索和生成的閑聊對話系統(tǒng)

| Protoype rewriting, Retrieval augmented generation

| 閑聊對話系統(tǒng)的主要應(yīng)用場景

| 閑聊對話系統(tǒng)技術(shù)所面臨的主要挑戰(zhàn)

| FAQ系統(tǒng)實(shí)戰(zhàn)，實(shí)現(xiàn)一個(gè)自己的FAQ系統(tǒng)

| 基于RNN/Transformer/BERT的文本匹配模型

第六章：對話系統(tǒng)進(jìn)階

| 情感/共情對話系統(tǒng)

| 生成帶情緒的回復(fù)

| 個(gè)性化對話生成

| 生成符合特定個(gè)性人設(shè)的回復(fù)

| 風(fēng)格化對話生成

| 對話回復(fù)的多樣性

| Label Smoothing, Adaptive label smoothing

| Top-K Sampling, Nuclear Sampling

| Non-autoregressive 算法在生成模型中的應(yīng)用

| 基于Transformer的對話生成模型

| TransferTransfo

第七章：開源對話系統(tǒng)架構(gòu)RASA詳解

| RASA的主要架構(gòu)

| 基于RASA搭建自己的對話系統(tǒng)

| 多模態(tài)對話、VQA

| 考慮圖像模態(tài)的對話回復(fù)檢索和生成

| 基于預(yù)訓(xùn)練模型的對話系統(tǒng)

| 基于GPT模型的對話模型

| Meena，PLA

模塊三 信息抽取&知識圖譜

第一章：知識圖譜與圖數(shù)據(jù)模型

| 知識圖譜：搜索引擎，數(shù)據(jù)整合，AI

| 實(shí)體抽取、關(guān)系抽取、詞向量

| graph embedding

| 圖數(shù)據(jù)模型：RDF, Cyper

| 結(jié)構(gòu)化數(shù)據(jù)的關(guān)系抽取

| 介紹關(guān)系抽取的基本方法

| 介紹結(jié)構(gòu)化數(shù)據(jù)的信息過濾

第二章：知識圖譜的設(shè)計(jì)

| RDF和Property graph的設(shè)計(jì)

| 創(chuàng)建KG：數(shù)據(jù)處理、文本和圖像

| 推斷用到的基本方法

| Path detection

| Centrality and community Detection

| 圖結(jié)構(gòu)嵌入方法

| 重要性的基本方法：node，edge

第三章：關(guān)系抽取和預(yù)測

| Hand-built patterns

| Bootstrapping methods

| Supervised methods

| Distant supervision

| Unsupervised methods

| 實(shí)體識別的基本方法

第四章：低資源信息抽取和推斷

| Low-resource NER?

| Low-resource structured models

| Learning multi-lingual Embeddings

| Deepath?

| DIVA

| Generic Statistical Relational Entity Resolution in Knowledge Graphs?

第五章：結(jié)構(gòu)化預(yù)測模型

| Sequence labeling

| 結(jié)構(gòu)化數(shù)據(jù)類別：Dependency，constituency

| Stack LSTM

| Stack RNNS

| Tree-structure LSTM

第六章：圖挖掘的熱門應(yīng)用

| 基本圖概念

| Link Prediction

| Recommendation system

| Anomaly detection

| Gated Graph Sequence Neural Networks

模塊四 文本生成

第一章：Seq2Seq模型與機(jī)器翻譯

| Seq2seq 模型與機(jī)器翻譯任務(wù)

| 機(jī)器翻譯中未登錄詞UNK與subword

| 文本生成coverage

| length normalization

| 低資源語言生成

| 多任務(wù)學(xué)習(xí)

| Tearch Force Model

第二章：文本摘要生成（1）

| 摘要生成技術(shù)類別

| 生成式摘要生成技術(shù)

| 抽取式摘要生成技術(shù)

| 基于CNN的文本生成

| 基于RNN的文本生成

第三章：文本摘要生成（2）

| Pointer Network 及其應(yīng)用

| CopyNet 于工業(yè)界的落地

| Length Normalization?

| Coverage Normalization

| Text summarization 前沿研究

第四章：Creative Writing

| 可控性文本生成

| Story Telling 與預(yù)先訓(xùn)練GPT

| 詩詞，歌詞，藏頭詩等文本生成

| 創(chuàng)作性文本生成技巧

第五章：多模態(tài)文本生成

| ResNet?

| Inception 等預(yù)訓(xùn)練圖片特征抽取模型

| Image Caption 及其應(yīng)用

| Table2text

| 圖神經(jīng)網(wǎng)絡(luò)與文本生成

第六章：對抗式文本生成與NL2sql

| 對抗生成網(wǎng)絡(luò) GAN模型

| 強(qiáng)化學(xué)習(xí)基礎(chǔ)

| 基于 Policy Gradient 的強(qiáng)化學(xué)習(xí)

| SeqGAN

| NL2sql ：自然語言轉(zhuǎn)SQL

02?部分案例和項(xiàng)目

學(xué)員可以選擇每個(gè)模塊完成我們提供的固定項(xiàng)目（以個(gè)人為單位），或者以小組為單位完成一個(gè)開放式項(xiàng)目（capstone），當(dāng)然你也可以提出你自己的項(xiàng)目。從項(xiàng)目的立項(xiàng)、中期驗(yàn)收到最終答辯，在這個(gè)過程中我們的導(dǎo)師團(tuán)隊(duì)會給你建議、并輔助你完成課題， 該課題最終很有可能成為你的創(chuàng)業(yè)項(xiàng)目或科研論文！

如果對課程感興趣，請聯(lián)系

添加課程顧問小姐姐微信

報(bào)名、課程咨詢

????????????

03?授課導(dǎo)師

鄭老師：清華大學(xué)計(jì)算機(jī)系（計(jì)算機(jī)科學(xué)與人工智能研究部）博士后

美國勞倫斯伯克利國家實(shí)驗(yàn)室訪問學(xué)者

主要從事自然語言處理，對話領(lǐng)域的先行研究與商業(yè)化

先后在ACL，EMNLP，AAAI，NeurIPS，TASLP，等國際會議及期刊上發(fā)表過10篇以上論文

楊老師：香港城市大學(xué)博士, UC Merced博士后，主要從事于機(jī)器學(xué)習(xí)，圖卷積，圖嵌入的研究。先后在ECCV, Trans on Cybernetics, Trans on NSE, INDIN等國際頂會及期刊上發(fā)表過數(shù)篇論文。

04直播授課，現(xiàn)場推導(dǎo)演示

區(qū)別于劣質(zhì)的PPT講解，導(dǎo)師全程現(xiàn)場推導(dǎo)，讓你在學(xué)習(xí)中有清晰的思路，深刻的理解算法模型背后推導(dǎo)的每個(gè)細(xì)節(jié)。更重要的是可以清晰地看到各種模型之間的關(guān)系！幫助你打通六脈！

▲源自：LDA模型講解

▲源自：Convex Optimization 講解

▲源自：Convergence Analysis 講解

05?科學(xué)的課程安排

采用直播的授課方式，每周3-4次直播教學(xué)，包含核心理論課、實(shí)戰(zhàn)課、復(fù)習(xí)鞏固課以及論文講解課。教學(xué)模式上也參考了美國頂級院校的教學(xué)體系。以下為其中一周的課程安排，供參考。?

06?報(bào)名須知

1、本課程為收費(fèi)教學(xué)。

2、本期招收學(xué)員名額有限。

3、品質(zhì)保障！學(xué)習(xí)不滿意，可在開課后7天內(nèi)，無條件全額退款。

4、學(xué)習(xí)本課程需要具備一定的機(jī)器學(xué)習(xí)基礎(chǔ)和Python編程基礎(chǔ)。

●●●

如果對課程感興趣，請聯(lián)系

添加課程顧問小姐姐微信

報(bào)名、課程咨詢

????????????

總結(jié)

以上是生活随笔為你收集整理的详解预训练模型、信息抽取、文本生成、知识图谱、对话系统技术的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。