谷歌Lab近日發布了一個新的預訓練模型"ALBERT"全面在SQuAD 2.0、GLUE、RACE等任務上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！ALBERT是一種輕量版本的BERT，利用更好的參數來訓練模型，但是效果卻反而得到了很大提升！ALBERT的核心思想是采用了兩種減少模型參數的方法，比BERT占用的內存空間小很多，同時極大提升了訓練速度，更重要的是效果上也有很大的提升！?

▲BERT 和 ALBERT 兩者的參數量比較。

這次發布的模型由Google Lab的 Lan Zhenzhong博士來主導完成，而且Lan Zhenzhong博士正好也是貪心學院的顧問以及教研團隊的成員。近期我們也會邀請Zhenzhong博士給大家做一次分享。

為了迎接NLP領域的各種變化，貪心學院的《自然語言處理》課程也在不斷迭代更新，保證不錯過任何2周之內出現的重要技術。自然語言處理無非是目前最大的風口，從Word2Vec、ElMo、GPT、Bert到XLNet, 我們見證了這個領域的高速發展以及未來的前景。互聯網中的大量的文本以及IOT時代賦予我們的全新交互帶來了這個領域的爆發。

那這樣的訓練營到底是怎么樣的呢？?下面來詳細介紹一下《自然語言處理高階訓練營》的內容，也可以添加我們專業的AI職業規劃師來咨詢，我們的咨詢師也是頂級AI公司出來的哦~?

01課程大綱

第一階段 算法與機器學習基礎

【核心知識點】

. 時間復雜度，空間復雜度分析

. Master's Theorem，遞歸復雜度分析

. 動態規劃以及Dynamic Time Warpping

. Earth Mover's Distance

. 維特比算法

. LR、決策樹、隨機森林、XGBoost

. 梯度下降法、隨機梯度下降法、牛頓法

. Projected Gradient Descent

. L0, L1, L2, L-Infinity Norm

. Grid Search, Bayesian Optimization

. 凸函數、凸集、Duality、KKT條件

. Linear SVM、Dual of SVM

. Kernel Tick, Mercer's Theorem

. Kernelized Linear Regression、Kernelized KNN

. Linear/Quadratic Programming

. Integer/Semi-definite Programming

. NP-completeness/NP-hard/P/NP

. Constrained Relaxation、Approximate Algorithm

. Convergence Analysis of Iterative Algorithm

【部分案例講解】

. 基于Sparse Quadratic Programming的股票投資組合優化策略編寫

. 基于Earth Mover's Distance的短文本相似度計算

. 基于Projected Gradient Descent和非負矩陣分解的詞向量學習

. 基于Linear Programming的機票定價系統

. 基于DTW的文本相似度分析

第二階段 語言模型與序列標注

【核心知識點】

. 文本預處理技術（tf-idf，Stemming等）

. 文本領域的特征工程

. 倒排表、信息檢索技術

. Noisy Channel Model

. N-gram模型，詞向量介紹

. 常見的Smoothing Techniques

. Learning to Rank

. Latent Variable Model

. EM算法與Local Optimality

. Convergence of EM

. EM與K-Means, GMM

. Variational Autoencoder與Text Disentangling

?.有向圖與無向圖模型

. Conditional Indepence、D-separation、Markov Blanket

. HMM模型以及參數估計

. Viterbi、Baum Welch

. Log-Linear Model與參數估計

. CRF模型與Linear-CRF

. CRF的Viterbi Decoding與參數估計

【部分案例講解】

. 基于無監督學習方法的問答系統搭建

. 基于監督學習的Aspect-Based 情感分析系統搭建

. 基于CRF、LSTM-CRF、BERT-CRF 的命名實體識別應用?

. 基于語言模型和Noisy Channel Model的拼寫糾錯

第三階段 信息抽取、詞向量與知識圖譜

【核心知識點】

. 命名實體識別技術

. 信息抽取技術

. Snowball, KnowitAll, RunnerText

. Distant Supervision, 無監督學習方法

. 實體統一、實體消歧義、指代消解

. 知識圖譜、實體與關系

. 詞向量、Skip-Gram、Negative Sampling

. 矩陣分解、CBOW與Glove向量

. Contexualized Embedding與ELMo

. KL Divergence與Gaussian Embedding

. 非歐式空間與Pointcare Embedding

. 黎曼空間中的梯度下降法

. 知識圖譜嵌入技術

. TransE, NTN 的詳解

. Node2Vec詳解

. Adversial Learning與KBGAN

【部分案例講解】

. 利用非結構化數據和信息抽取技術構建知識圖譜

. 任務導向型聊天機器人的搭建

. 包含Intent與Entity Extraction的NLU模塊實現

. 基于SkipGram的推薦系統實現（參考Airbnb論文）

第四階段 深度學習與NLP

【核心知識點】

. Pytorch與Tensorflow詳解. 表示學習，分布式表示技術

. 文本領域中的Disentangling

. 深度神經網絡與BP算法詳解

. RNN與Vanishing/Exploding Gradient

. LSTM與GRU

. Seq2Seq與注意力機制

. Greedy Decoding與Beam Search

. BI-LSTM-CRF模型

. Neural Turing Machine

. Memory Network

. Self Attention，Transformer以及Transformer-XL.

. Bert的詳解

. BERT-BiLSTM-CRF

. GPT，MASS,? XLNet

. Low-resource learning

. 深度學習的可視化

. Laywer-wise Relevance Propagation

【部分案例講解】

. 利用純Python實現BP算法

. 基于Seq2Seq+注意力機制、基于Transformer的機器翻譯系統

. 基于Transformer的閑聊型聊天機器人

. 基于BI-LSTM-CRF和BERT-BiLSTM-CRF在命名實體中的比較

. 利用Laywer-wise RP可視化端到端的機器翻譯系統

第五階段 貝葉斯模型與NLP

【核心知識點】

. 概率圖模型與條件獨立

. Markov Blanket?

. Dirichlet分布、Multinomial分布

. Beta分布、Conjugate Prior回顧

. Detail Balance

. 主題模型詳解

. MCMC與吉布斯采樣

. 主題模型與Collapsed Gibbs Sampling

. Metropolis Hasting, Rejection Sampling

. Langevin Dyamics與SGLD

. 分布式SGLD與主題模型

. Dynamic Topic Model?

. Supervised Topic Model

. KL Divergence與ELBO

. Variantional Inference, Stochastic VI

. 主題模型與變分法

. Nonparametric Models

. Dirichlet Process

. Chinese Restarant Process

. Bayesian Deep Neural Network?

. VAE與Reparametrization trick

. Bayesian RNN/LSTM

. Bayesian Word2Vec

. MMSB

【部分案例講解】

. 利用Collapsed Gibbs Sampler和SGLD對主題模型做Inference

. 基于Bayesian-LSTM的命名實體識別

. 利用主題模型做文本分類在?

. LDA的基礎上修改并搭建無監督情感分析模型

第六階段 開放式項目 （Optional）

【項目介紹】

開放式項目又稱為課程的capstone項目。作為課程中的很重要的一部分，可以選擇work on一個具有挑戰性的項目。通過此項目，可以深入去理解某一個特定領域，快速成為這個領域內的專家，并且讓項目成果成為簡歷中的一個亮點。

?

【項目流程】

Step 1: 組隊?

Step 2：立項以及提交proposal

Step 3: Short Survey Paper?

Step 4: 中期項目Review?

Step 5: 最終項目PPT以及代碼提交?

Step 6: 最終presentation?

Step 7: Technical Report/博客

【輸出結果】

完整PPT、代碼和Conference-Style Technical Report 最為項目的最后階段，我們將組織學員的presentation分享大會。借此我們會邀請一些同行業的專家、從業者、企業招聘方、優質獵頭資源等共同參與分享大會。

為AI從業者/研究生/研究員專門定制

全網唯一《NLP自然語言處理高階訓練營》

對課程有意向的同學

添加課程顧問小姐姐微信

報名、課程咨詢

????????????

02部分項目作業

課程設計緊密圍繞學術界最新進展以及工業界的需求，涵蓋了所有核心知識點，并且結合了大量實戰項目，培養學員的動手能力，解決問題能力。

問答系統

從零開始搭建一個完整的問答系統。給定一個語料庫（問題和答案對），對于用戶的輸入需要返回最適合的答案。涉及到的模塊：

1. 對于用戶的輸入需要做拼寫糾錯，這部分會用到語言模型

2. 之后對輸入做文本的預處理，過濾等操作。

3. 把文本轉換成向量形式，這里需要用到tf-idf, word2vec等相關的技術。

4. 針對于語料庫，為了提升效率需要創建倒排表。

5. 基于相似度的計算來獲得最優的答案。

情感分析系統

基于給定數據，來搭建一個完整的情感分析系統。項目涉及到的模塊：

1. 數據的預處理

2. 特征工程，這部分是本項目的核心。

3. 監督學習模型的選擇與調參。調參的過程需要嘗試不同的優化策略。

知識圖譜系統

利用非結構化數據來搭建知識圖譜。項目涉及到的模塊：

1. 從非結構化數據中抽取實體，以及詞典庫的構建

2. 關系的抽取（指定的關系）

3. 實體統一以及實體消歧。

4. 知識圖譜的構建以及查詢

對話系統中的NLU

基于給定的對話數據來構建NLU識別部分，并結果用于聊天機器人中。 項目涉及到的模塊：

1. 文本特征的提取

2. 搭建CRF模型來識別關鍵詞

3. 搭建LSTM-CRF模型來識別關鍵詞。

機器翻譯系統

基于給定數據，來搭建一個完整的情感分析系統。項目涉及到的模塊：

1. 數據的預處理

2. 特征工程，這部分是本項目的核心。

3. 監督學習模型的選擇與調參。調參的過程需要嘗試不同的優化策略。

任務導向型聊天機器人

搭建一個完整的聊天機器人，用來服務搜索餐廳。項目涉及到的模塊：

1. 文本預處理

2. 意圖識別和關鍵信息抽取

3. 對于每一個意圖設計對話管理狀態機

4. 設計上下文處理的方法

5. 對話生成模塊

6. 處理一些常見的boundary case。

03直播授課，現場推導演示

區別于劣質的PPT講解，導師全程現場推導，讓你在學習中有清晰的思路，深刻的理解算法模型背后推導的每個細節。更重要的是可以清晰地看到各種模型之間的關系！幫助你打通六脈！

▲源自：CRF與Log-Linear模型講解

▲源自：CRF與Log-Linear模型講解

▲源自：Convex Optimization 講解

▲源自：Convergence Analysis 講解

不管你在學習過程中遇到多少阻礙，你都可以通過以下4種方式解決：

1、直接在線問導師；

2、記錄到共享文檔中，每日固定時間的直播答疑；

3、學習社群中全職助教，隨時提問答疑

4、共同的問題在Review Session里面做講解

注：每次答疑，班主任都會進行記錄，以便學員實時查閱。

04課程適合誰？

• 對機器學習算法有基礎了解，具備編程能力；

• 對數據結構與算法比較熟悉；

• 想申請國外名校AI相關專業的碩士/博士；

• 已從事NLP領域工作，想要升職加薪；

• 想加入頂級AI公司；

05每周課程安排

采用直播的授課方式，一周4-5次的直播教學，?包括2次的main lectures, 1-2次的discussion session?(講解某一個實戰、必備基礎、案例或者技術上的延伸），?1次的paper reading session?(每周會assign一篇必備論文，并且直播解讀)。教學模式上也參考了美國頂級院校的教學體系。以下為其中一周的課程安排，供參考。?

每周一次的Review Session, 老師提前一周給出幾個備選主題，由學生進行投票選擇最心儀的主題，每周三次。

06你的必備挑戰

1.編寫一些技術類文章

通過在知乎上發表相關技術文章進行自我成果檢驗，同時也是一種思想碰撞的方式，導師會對發表的每一篇文章寫一個詳細的評語。萬一不小心成為一個大V了呢？雖然寫文章的過程萬分痛苦，學習群里半夜哀嚎遍野，但看一看抓著頭發寫出來的文章結果還是非常喜人的！看著自己收獲的點贊數，大家都默默地感謝起導師們的無情！

這種滿滿的成就感，讓大家一篇接一篇寫了下去！

個個都立刻變身成了知乎大牛~

2.Project項目

除了文章，算法工程師的立命根本--項目代碼，導師更是不會放過的。每次在Gitlab上布置的作業，導師們都會帶領助教團隊會予以詳細的批改和反饋。并逼著你不斷的優化！

07 訓練營導師

看了這么多，是不是非常崇拜設計出如此地獄式學習計劃的大牛，那就來正式認識一下這位訓練營中人人聽了都聞風喪膽，但又讓人崇拜+喜愛+欲罷不能的訓練營大魔頭:

李文哲

NLP、知識圖譜領域專家

美國南加州大學博士，曾任凡普金科（愛錢進）首席科學家，美國亞馬遜/高盛高級工程師，AI量化投資公司首席科學家兼投資總監。在AAAI, KDD, AISTATS等頂會上發表過15篇以上論文，其中3篇獲得Best Paper Award，累計數百次引用。

在被大魔頭們折磨了多個日日夜夜后，大家不但沒有放棄學習，而且很快樂地學習著。來聽聽大家的心聲吧：

這兩天群里更是捷報連連。我們前三期項目的已經有多名學員被一線AI企業錄取，還有通過二面、三面等待著offer。相信未來幾周我們將會受到更多的好消息！

隨便截了幾個學員反饋，看看他們有多愛這個機智又嚴苛的大魔頭：

我確定了我們的魔鬼訓練營沒有誤人子弟，我們的課程真的幫助到大家實質的技能提升或幫助大家拿到offer。

這次我們迎來了第六期NLP的招生，千萬不要覺得這是一個對標其他線上課程的普通的訓練營。由于內容的專業性以及深度，在過去吸引了大量的全球頂級名府的學員，這里不乏來自斯坦福、UCSD、USC、哥大、HKUST、愛丁堡等世界名府的學生；在這里，你不僅可以享受到通往頂尖人才的快樂、也可以結識志同道合的AI從業者以及未來的科學家。?

08報名須知

1、本課程為收費教學。

2、本期僅招收50個名額。

3、品質保障！正式開課后7天內，無條件全額退款。

4、學習本課程需要具備一定的AI基礎。

●●●

為AI從業者/研究生/研究員專門定制

全網唯一《NLP自然語言處理高階訓練營》

對課程有意向的同學

添加課程顧問小姐姐微信

報名、課程咨詢

????????????

總結

以上是生活随笔為你收集整理的ALBERT、XLNet，NLP技术发展太快，如何才能跟得上节奏？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。