我們正處在信息爆炸的時代、面對每天鋪天蓋地的網絡資源和論文、很多時候我們面臨的問題并不是缺資源，而是找準資源并高效學習。其次，即便網絡上的資源非常多，學習是需要成本的，而且越有深度的內容越難找到好的學習資源。如果一門課程幫助你清晰地梳理知識體系，而且把有深度的知識點脈絡講清楚，這就是節省最大的成本。為了迎合大家學習的需求，我們這次重磅推出了《自然語言處理高階研修》。

首先，全網不可能找得到另外一門系統性的訓練營具備如此的深度和廣度，這里包括國外的課程，所以從內容的角度來講是非常稀缺的內容。

課程覆蓋了從預訓練模型、對話系統、信息抽取、知識圖譜、文本生成所有必要的技術應用和學術前沿，30+項目案例幫助你在實戰中學習成長。課程采用全程直播授課模式，博導級大咖全程輔導答疑、幫你告別疑難困惑。

適合什么樣的人來參加吶？

• 從事AI行業多年，但技術上感覺不夠深入，遇到了瓶頸；?

• 停留在使用模型/工具上，很難基于業務場景來提出新的模型；?

• 對于機器學習背后的優化理論、前沿的技術不夠深入；

• 計劃從事尖端的科研、研究工作、申請AI領域研究生、博士生；?

• 打算進入頂尖的AI公司如Google，Facebook，Amazon， 阿里等；

• 讀ICML，IJCAI等會議文章比較吃力，似懂非懂，無法把每個細節理解透。

如果對課程感興趣，請聯系

添加課程顧問小姐姐微信

報名、課程咨詢

????????????

01 課程大綱

課程內容上做了大幅度的更新，課程采用全程直播授課模式。帶你全面掌握自然語言處理技術，能夠靈活應用在自己的工作中；深入理解前沿的技術，為后續的科研打下基礎；快速掌握理解預訓練技術、對話技術、生成技術以及知識圖譜的常用技術；通過完成一系列課題，有可能成為一個創業項目或者轉換成你的科研論文。

模塊一?預訓練模型

第一章：預訓練模型基礎

| 預訓練模型基礎、語言模型回顧

| N-gram、Neural語言模型回顧

| 預訓練方法的發展歷程

| 預訓練和transfer learning

| Pre-BERT時代的transfer learning

| word2vec，transfer learning in NER

| Post-BERT時代的transfer learning

| Pre-train fine-tune范式

第二章：ELmo與BERT

| Elmo、Transformer、BERT

| 更強的BERT：RoBERTa

| 基于Elmo和BERT的NLP下游任務

| Huggingface Transformers庫介紹?

| 構建基于BERT的情感分類器

?第三章: GPT系列模型

| GPT、GPT2、GPT3?

| 基于GPT的fine-tuning

| 基于GPT的Zero-shot learning

| 基于GPT模型的文本生成實戰

| Top-k + Top-p 采樣

| 基于給定Prompt生成續寫文本

第四章: Transformer-XL與XLNet

| 處理長文本?

| Transformer-XL

| 相對位置編碼

| Permutation Language Model

| Two-stream attention

| XLNet

| 更進階的預訓練任務：MPNet

第五章：其他前沿的預訓練模型

| 考慮知識的預訓練模型：ERINE

| 對話預訓練模型：PLATO2, DialoGPT

| SpanBERT

| MASS，UniLM

| BART，T5

| 實現基于T5的文本分類模型

第六章: 低計算量下模型微調和對比學習

| 低計算量情況下的預訓練模型微調

| Adapter-based fine-tuning，

| Prompt-search，P-tuning?

| 基于對比學習的預訓練

| 對比學習目標：Triplet Loss，InfoNCE Loss

| 對比學習在NLP中的前沿應用：SimCSE

第七章：多模態預訓練和挑戰

| 多模態預訓練模型

| 多模態匹配模型：CLIP，文瀾

| VQ-VAE

| 多模態生成模型：DALLE，CogView

| 預訓練模型面臨的挑戰及其前沿進展

| 模型并行帶來的挑戰

| 對于Transformer的改進：Reformer

模塊二?對話系統

第一章：對話系統綜述

| 對話系統發展歷程

| 對話系統的主要應用場景

| 常見的對話系統類別以及采用的技術

| 對話系統前沿的技術介紹

| 基礎：語言模型

| 基礎：基于神經網絡的語言模型

第二章：對話系統綜述

| 任務型對話系統的總體架構

| 案例：訂票系統的搭建

| 自然語言理解模塊簡介

| 對話管理模塊技術

| 對話生成模型技術

| 基于神經網絡的文本分類和序列標注

第三章：自然語言處理理解模塊

| 自然語言理解模塊面臨的挑戰

| NLU模型中意圖和槽位的聯合識別

| 考慮長上下文的NLU

| NLU中的OOD檢測

| NLU模型的可擴展性和少樣本學習

| 少樣本學習方法介紹

| 孿生網絡、匹配網絡、原型網絡

第四章：對話管理和對話生成

| 對話狀態追蹤

| 對話策略詳解

| POMDP技術

| 對話管理的最新研究進展

| 基于RL的對話管理

| 對話生成技術

| 端到端的對話系統

| 基于預訓練模型的DST

第五章：閑聊對話系統

| 閑聊對話系統基礎技術

| 基于檢索的閑聊對話系統

| 基于生成的閑聊對話系統

| 融合檢索和生成的閑聊對話系統

| Protoype rewriting, Retrieval augmented generation

| 閑聊對話系統的主要應用場景

| 閑聊對話系統技術所面臨的主要挑戰

| FAQ系統實戰，實現一個自己的FAQ系統

| 基于RNN/Transformer/BERT的文本匹配模型

第六章：對話系統進階

| 情感/共情對話系統

| 生成帶情緒的回復

| 個性化對話生成

| 生成符合特定個性人設的回復

| 風格化對話生成

| 對話回復的多樣性

| Label Smoothing, Adaptive label smoothing

| Top-K Sampling, Nuclear Sampling

| Non-autoregressive 算法在生成模型中的應用

| 基于Transformer的對話生成模型

| TransferTransfo

第七章：開源對話系統架構RASA詳解

| RASA的主要架構

| 基于RASA搭建自己的對話系統

| 多模態對話、VQA

| 考慮圖像模態的對話回復檢索和生成

| 基于預訓練模型的對話系統

| 基于GPT模型的對話模型

| Meena，PLA

模塊三 信息抽取&知識圖譜

第一章：知識圖譜與圖數據模型

| 知識圖譜：搜索引擎，數據整合，AI

| 實體抽取、關系抽取、詞向量

| graph embedding

| 圖數據模型：RDF, Cyper

| 結構化數據的關系抽取

| 介紹關系抽取的基本方法

| 介紹結構化數據的信息過濾

第二章：知識圖譜的設計

| RDF和Property graph的設計

| 創建KG：數據處理、文本和圖像

| 推斷用到的基本方法

| Path detection

| Centrality and community Detection

| 圖結構嵌入方法

| 重要性的基本方法：node，edge

第三章：關系抽取和預測

| Hand-built patterns

| Bootstrapping methods

| Supervised methods

| Distant supervision

| Unsupervised methods

| 實體識別的基本方法

第四章：低資源信息抽取和推斷

| Low-resource NER?

| Low-resource structured models

| Learning multi-lingual Embeddings

| Deepath?

| DIVA

| Generic Statistical Relational Entity Resolution in Knowledge Graphs?

第五章：結構化預測模型

| Sequence labeling

| 結構化數據類別：Dependency，constituency

| Stack LSTM

| Stack RNNS

| Tree-structure LSTM

第六章：圖挖掘的熱門應用

| 基本圖概念

| Link Prediction

| Recommendation system

| Anomaly detection

| Gated Graph Sequence Neural Networks

模塊四 文本生成

第一章：Seq2Seq模型與機器翻譯

| Seq2seq 模型與機器翻譯任務

| 機器翻譯中未登錄詞UNK與subword

| 文本生成coverage

| length normalization

| 低資源語言生成

| 多任務學習

| Tearch Force Model

第二章：文本摘要生成（1）

| 摘要生成技術類別

| 生成式摘要生成技術

| 抽取式摘要生成技術

| 基于CNN的文本生成

| 基于RNN的文本生成

第三章：文本摘要生成（2）

| Pointer Network 及其應用

| CopyNet 于工業界的落地

| Length Normalization?

| Coverage Normalization

| Text summarization 前沿研究

第四章：Creative Writing

| 可控性文本生成

| Story Telling 與預先訓練GPT

| 詩詞，歌詞，藏頭詩等文本生成

| 創作性文本生成技巧

第五章：多模態文本生成

| ResNet?

| Inception 等預訓練圖片特征抽取模型

| Image Caption 及其應用

| Table2text

| 圖神經網絡與文本生成

第六章：對抗式文本生成與NL2sql

| 對抗生成網絡 GAN模型

| 強化學習基礎

| 基于 Policy Gradient 的強化學習

| SeqGAN

| NL2sql ：自然語言轉SQL

02?部分案例和項目

學員可以選擇每個模塊完成我們提供的固定項目（以個人為單位），或者以小組為單位完成一個開放式項目（capstone），當然你也可以提出你自己的項目。從項目的立項、中期驗收到最終答辯，在這個過程中我們的導師團隊會給你建議、并輔助你完成課題， 該課題最終很有可能成為你的創業項目或科研論文！

如果對課程感興趣，請聯系

添加課程顧問小姐姐微信

報名、課程咨詢

????????????

03?授課導師

鄭老師：清華大學計算機系（計算機科學與人工智能研究部）博士后

美國勞倫斯伯克利國家實驗室訪問學者

主要從事自然語言處理，對話領域的先行研究與商業化

先后在ACL，EMNLP，AAAI，NeurIPS，TASLP，等國際會議及期刊上發表過10篇以上論文

楊老師：香港城市大學博士, UC Merced博士后，主要從事于機器學習，圖卷積，圖嵌入的研究。先后在ECCV, Trans on Cybernetics, Trans on NSE, INDIN等國際頂會及期刊上發表過數篇論文。

04直播授課，現場推導演示

區別于劣質的PPT講解，導師全程現場推導，讓你在學習中有清晰的思路，深刻的理解算法模型背后推導的每個細節。更重要的是可以清晰地看到各種模型之間的關系！幫助你打通六脈！

▲源自：LDA模型講解

▲源自：Convex Optimization 講解

▲源自：Convergence Analysis 講解

05?科學的課程安排

采用直播的授課方式，每周3-4次直播教學，包含核心理論課、實戰課、復習鞏固課以及論文講解課。教學模式上也參考了美國頂級院校的教學體系。以下為其中一周的課程安排，供參考。?

06?報名須知

1、本課程為收費教學。

2、本期招收學員名額有限。

3、品質保障！學習不滿意，可在開課后7天內，無條件全額退款。

4、學習本課程需要具備一定的機器學習基礎和Python編程基礎。

●●●

如果對課程感興趣，請聯系

添加課程顧問小姐姐微信

報名、課程咨詢

????????????

總結

以上是生活随笔為你收集整理的详解预训练模型、信息抽取、文本生成、知识图谱、对话系统技术的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。