AI到底有多吃香？推荐一个斯坦福、CMU、清北学生都在上的AI课
市面上有這么一個訓練營，聚集了AI領域未來的精英，大部分學員來自QS前100的學校以及BAT,FLAG等公司，這個訓練營正是貪心學院的《機器學習高端訓練營》，這個訓練營的目的很簡單：想培養(yǎng)更多高端的人才，幫助那些即將或者目前從事科研的朋友，同時幫助已從事AI行業(yè)的提高技術(shù)深度。?
在本期訓練營（第四期）中我們對內(nèi)容做了大幅度的更新，一方面新增了對前沿主題的講解如圖神經(jīng)網(wǎng)絡（GCN,GAT等），另外一方面對核心部分（如凸優(yōu)化、強化學習）加大了對理論層面上的深度。除此之外，也會包含科研方法論、元學習、解釋性、Fair learning等系列主題。目前在全網(wǎng)上應該找不到類似體系化的課程。課程仍然采用全程直播授課模式。
那什么樣的人適合來參加高階班呢？
從事AI行業(yè)多年，但技術(shù)上總感覺不夠深入，感覺在技術(shù)上遇到了瓶頸；?
停留在使用模型/工具上，很難基于業(yè)務場景來提出新的模型；?
對于機器學習背后的優(yōu)化理論、前沿的技術(shù)不夠深入；
計劃從事尖端的科研、研究工作、申請AI領域研究生、博士生；?
打算進入最頂尖的AI公司比如Google，Facebook，Amazon， 阿里，頭條等；
讀ICML，IJCAI等會議文章比較吃力，似懂非懂感覺，無法把每個細節(jié)理解透；
01 課程大綱
第一部分：凸優(yōu)化與機器學習
第一周：凸優(yōu)化介紹
從優(yōu)化角度理解機器學習
優(yōu)化技術(shù)的重要性
常見的凸優(yōu)化問題
線性規(guī)劃以及Simplex Method
Two-Stage?LP
案例：運輸問題講解
?
?
第二周：凸函數(shù)講解
凸集的判斷
First-Order Convexity
Second-order Convexity
Operations Preserve Convexity
二次規(guī)劃問題（QP)
案例：最小二乘問題
項目作業(yè)：股票投資組合優(yōu)化
?
第三周：凸優(yōu)化問題
常見的凸優(yōu)化問題類別
半定規(guī)劃問題
幾何規(guī)劃問題
非凸函數(shù)的優(yōu)化
松弛化（Relaxation）
整數(shù)規(guī)劃（Integer Programming)
案例：打車中的匹配問題
?
第四周：對偶（Duality）
拉格朗日對偶函數(shù)
對偶的幾何意義
Weak and Strong Duality
KKT條件
LP, QP, SDP的對偶問題
案例：經(jīng)典模型的對偶推導及實現(xiàn)
對偶的其他應用
第五周：優(yōu)化技術(shù)
一階與二階優(yōu)化技術(shù)
Gradient Descent
Subgradient Method
Proximal Gradient Descent
Projected Gradient Descent
SGD與收斂
Newton's Method
Quasi-Newton's Method
第二部分?圖神經(jīng)網(wǎng)絡
第六周：?數(shù)學基礎
向量空間和圖論基礎
Inner Product, Hilbert Space
Eigenfunctions, Eigenvalue
傅里葉變化
卷積操作
Time Domain, Spectral Domain
Laplacian, Graph Laplacian
?
第七周：譜域的圖神經(jīng)網(wǎng)絡
卷積神經(jīng)網(wǎng)絡回歸
卷積操作的數(shù)學意義
Graph Convolution
Graph Filter
ChebNet
CayleyNet
GCN
Graph Pooling
案例：基于GCN的推薦
?
第八周：空間域的圖神經(jīng)網(wǎng)絡
Spatial Convolution
Mixture Model Network (MoNet)
注意力機制
Graph Attention Network(GAT)
Edge Convolution
空間域與譜域的比較
項目作業(yè)：基于圖神經(jīng)網(wǎng)絡的鏈路預測
?
第九周：圖神經(jīng)網(wǎng)絡改進與應用
拓展1: ? Relative Position與圖神經(jīng)網(wǎng)絡
拓展2：融入Edge特征：Edge GCN
拓展3：圖神經(jīng)網(wǎng)絡與知識圖譜: Knowledge GCN
拓展4：姿勢識別：ST-GCN
案例：基于圖的文本分類
案例：基于圖的閱讀理解
第三部分?強化學習
第十周：強化學習基礎
Markov Decision Process
Bellman Equation
三種方法：Value，Policy，Model-Based
Value-Based Approach: Q-learning
Policy-Based Approach: SARSA
第十一周：Multi-Armed Bandits
Multi-Armed bandits
Epsilon-Greedy
Upper Confidence Bound (UCB)
Contextual UCB
LinUCB & Kernel UCB
案例：Bandits在推薦系統(tǒng)的應用案例
?
第十二周：路徑規(guī)劃
Monte-Carlo Tree Search
N-step learning
Approximation
Reward Shaping
結(jié)合深度學習：Deep RL
項目作業(yè)：強化學習在游戲中的應用案例
?
第十三周: 自然語言處理中的RL
Seq2seq模型的問題
結(jié)合Evaluation Metric的自定義loss
結(jié)合aspect的自定義loss
不同RL模型與seq2seq模型的結(jié)合
案例：基于RL的文本生成
第四部分?貝葉斯方法
第十四周：貝葉斯方法論簡介
貝葉斯定理
從MLE, MAP到貝葉斯估計
集成模型與貝葉斯方法比較
計算上的Intractiblity
MCMC與變分法簡介
貝葉斯線性回歸
貝葉斯神經(jīng)網(wǎng)絡
案例：基于Bayesian-LSTM的命名實體識別
?
?
第十五周：主題模型
生成模型與判別模型
隱變量模型
貝葉斯中Prior的重要性
狄利克雷分布、多項式分布
LDA的生成過程
LDA中的參數(shù)與隱變量
Supervised LDA
Dynamic LDA
LDA的其他變種
項目作業(yè)：LDA的基礎上修改并搭建無監(jiān)督情感分析模型
?
?
第十六周：MCMC方法
Detailed Balance
對于LDA的吉布斯采樣
對于LDA的Collapsed吉布斯采樣
Metropolis Hasting
Importance Sampling
Rejection Sampling
大規(guī)模分布式MCMC
大數(shù)據(jù)與SGLD
案例：基于分布式的LDA訓練
?
?
第十七周：變分法（Variational Method)
變分法核心思想
KL散度與ELBo的推導
Mean-Field變分法
EM算法
LDA的變分法推導
大數(shù)據(jù)與SVI
變分法與MCMC的比較
Variational Autoencoder
Probabilistic Programming
案例：使用概率編程工具來訓練貝葉斯模型
第十八周：其他前沿主題
模型的可解釋性
解釋CNN模型
解釋序列模型
Meta Learing
Fair Learning
技術(shù)前瞻
●●●
課程其他的細節(jié)可以聯(lián)系課程顧問來獲取
添加課程顧問小姐姐微信
報名、課程咨詢
????????????
02?部分案例和項目
運輸優(yōu)化問題：在運籌學以及優(yōu)化領域最為經(jīng)典的問題之一，類似的思想廣泛應用在倉庫優(yōu)化，匹配等問題上。
涉及到的知識點：
線性回歸以及優(yōu)化實現(xiàn)
Two-Stage隨機線性規(guī)劃一下優(yōu)化實現(xiàn)
打車中的路徑規(guī)劃問題：我們幾乎每天都在使用打車軟件或者外賣軟件。對于這些應用來講，核心算法應用就是乘客和車輛的匹配。
涉及到的知識點：
Mixed Integer Linear Programming
提供approximation bounds
經(jīng)典機器學習模型的對偶推導及實現(xiàn)：通過此練習，更深入理解機器學習模型以及對偶的作用。
涉及到的知識點：
SVM，LP等模型
對偶技術(shù)
KKT條件
基于圖神經(jīng)網(wǎng)絡的文本分類：當使用語法分析工具處理文本之后，一段文本便可以成為一個圖，接下來就可以使用圖卷積神經(jīng)網(wǎng)絡來做后續(xù)的分類工作
涉及到的知識點：
語法分析
圖神經(jīng)網(wǎng)絡
基于圖神經(jīng)網(wǎng)絡的閱讀理解：一般的閱讀需要讓機器閱讀多個文章并對提出的問題給出答案。在閱讀理解中抽取關(guān)鍵的實體和關(guān)系變得很重要，這些實體和關(guān)系可以用來構(gòu)造一個圖。
涉及到的知識點：
命名識別，關(guān)系抽取
圖神經(jīng)網(wǎng)絡
Heterogeneous Graph
Bandits在推薦系統(tǒng)的應用案例：Bandits應用在順序決策問題的應用中有易于實現(xiàn)、計算效率高、解決冷啟動問題、數(shù)據(jù)標注相對要求不高（一般只需部分標注作為reward，如用戶點擊）等優(yōu)點。本案例講解bandits如何應用在新聞推薦的系統(tǒng)中做基于內(nèi)容的推薦。
? ??
?
????涉及到的知識點：
Exploration & Exploitation
Epsilon Greedy
Upper Confidential Bounder
LineUCB
使用概率編程工具來訓練貝葉斯模型：類似于Pytorch，Tensorflow，概率編程工具提供了對貝葉斯模型的自動學習，我們以LDA等模型為例來說明這些工具的使用。?
涉及到的知識點：
概率編程
主題模型
MCMC和變分法
股票投資組合優(yōu)化：在投資組合優(yōu)化中，我們需要根據(jù)用戶的風險承受能力來設計并組合資產(chǎn)。在本項目中，我們試著在二次規(guī)劃的框架下做一些必要的修改如加入必要的限制條件、必要的正則來控制組合的稀疏性、加入投資中的先驗等信息，最后根據(jù)預先定義好的評估標準來引導模型的學習
涉及到的知識點：
二次規(guī)劃
不同的正則使用
基于限制條件的優(yōu)化
先驗的引入
03?授課導師
李文哲：貪心科技創(chuàng)始人兼CEO，人工智能和知識圖譜領域?qū)＜?#xff0c;曾任金融科技獨角獸公司的首席科學家、美國亞馬遜的高級工程師，先后負責過聊天機器人、量化交易、自適應教育、金融知識圖譜等項目，并在AAAI、KDD、AISTATS等頂會上發(fā)表過15篇以上論文，并榮獲IAAI，IPDPS的最佳論文獎，多次出席行業(yè)峰會發(fā)表演講。分別在USC, TAMU，南開攻讀博士、碩士和本科。
?
楊棟：香港城市大學博士, UC Merced博士后，主要從事于機器學習，圖卷積，圖嵌入的研究。先后在ECCV, Trans on Cybernetics, Trans on NSE, INDIN等國際頂會及期刊上發(fā)表過數(shù)篇論文。擔任過貪心學院高階課程的講師，獲得了學員一致的好評。?
04直播授課，現(xiàn)場推導演示
區(qū)別于劣質(zhì)的PPT講解，導師全程現(xiàn)場推導，讓你在學習中有清晰的思路，深刻的理解算法模型背后推導的每個細節(jié)。更重要的是可以清晰地看到各種模型之間的關(guān)系！幫助你打通六脈！
▲源自：LDA模型講解
▲源自：Convex Optimization 講解
▲源自：Convergence Analysis 講解
05?課程安排（以前兩周為例）
06 課程適合誰？
大學生
計算機相關(guān)專業(yè)的本科/碩士/博士生，需要具備一定的機器學習基礎
希望能夠深入AI領域，為科研或者出國做準備
想在步入職場前，深入AI領域，并把自己培養(yǎng)成T字形人才
在職人士
目前從事AI相關(guān)的項目工作，具有良好的機器學習基礎
希望打破技術(shù)上的天花板，能夠有能力去做模型上的創(chuàng)新
以后往資深工程師、研究員、科學家的職業(yè)路徑發(fā)展
07 前兩期學員背景
08 以前的學員說什么？
?
09?入學標準
1、?理工科專業(yè)相關(guān)本科生、碩士生、博士生。
2、目前從事AI工作。
3、具備良好的Python編程能力。
4、具備一定機器學習基礎，零基礎學員不太適合。
10 報名須知
1、本課程為收費教學。
2、本期僅招收剩余名額有限。
3、品質(zhì)保障！正式開課后7天內(nèi)，無條件全額退款。
4、學習本課程需要具備一定的機器學習基礎。
●●●
課程其他的細節(jié)可以聯(lián)系課程顧問來獲取
添加課程顧問小姐姐微信
報名、課程咨詢
????????????
總結(jié)
以上是生活随笔為你收集整理的AI到底有多吃香？推荐一个斯坦福、CMU、清北学生都在上的AI课的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 吉利枫叶x3pro轮胎螺丝多大？
- 下一篇： 有什么好吃的小吃