讀博士導師非常重要，比你們想象得還要更重要。一個優(yōu)秀的導師不僅在科研幫上很多忙，而且讓你懂得怎么做科研，更重要的他教會你怎么做一個合格的學者。?跟這種導師工作，你會發(fā)現(xiàn)科研其實是一件非常有趣的事情，它帶來的樂趣遠超于你發(fā)了多少頂級會議的論文。

之前跟Max Welling教授工作過一段時間，我相信很多人都聽說過這位大牛。當很多的學者都忙著發(fā)各種論文，把頂會論文數(shù)量看得很重的時候，他還是一如既往地深究屬于自己的領域， 所以當人們提起MCMC的時候大部分人都會馬上聯(lián)想到這位教授。能夠開辟屬于自己的領域，而且在這個領域上不斷地為別人“挖坑”是非常不容易的，這需要一種很強烈的信念。這不是在頂會論文數(shù)量上就能體現(xiàn)出來的。一個學者被很多人記住而且受到尊重，并不是因為他發(fā)過多少篇文章，而是他的一些工作（可能就是那么幾篇論文）確實推動了整個學術界的發(fā)展。這就需要一個強烈的信念和對學術的追求。

Max Welling教授基本上每天8點之前會到辦公室，下午5-6點回家，在學校里他的主要的工作就是讀論文，對有些論文他也會自己做推導，跟學生討論學術（多數(shù)情況下都是在白板上兩個人一起邊寫邊討論）。工作當中我們都會把他當成一位同事，有問題一起討論，他也會給出非常有建設性的意見。我還記得當時一起做科研的時候，我們倆僅在一周之內(nèi)就有個100多封郵件的來往，就是在一起PK問題，想方法，給出解決方案，討論過程中一個數(shù)學符號的錯誤也不會放過。這種過程回想起來特別有趣，很容易把人帶進科研的樂趣當中。即使犯了一些錯誤，也會不斷地去鼓勵你。

另外，因為他是屬于自己領域的權威，所以對下一步要做什么，往哪個方向發(fā)展非常清楚。所以他的學生也不會因為沒有一個課題而苦惱，而且這種課題都非常具有針對性和創(chuàng)新性，使得學生都在解決一個難并且重要的問題，后來這些學生也都有屬于自己的小領域。比如Kingma是Autoencoderr和Adam的作者，這也是在貝葉斯和深度學習領域一個開創(chuàng)性的工作。還有Cohen一直在研究Group invariant和深度學習的聯(lián)系。在這個小領域做出了不少的貢獻。Kipf是Graph Convolutional Network（圖卷積網(wǎng)絡）的作者，為鄰域內(nèi)帶來了重大突破。

所以我也建議不要把發(fā)論文看得太重。首先要去想，你想解決什么問題，這個問題是不是值得去解決，如果值得那就現(xiàn)在就動手去做吧...

為了迎合時代的需求，我去年開設了《機器學習高端訓練營》，這個訓練營的目的很簡單：想培養(yǎng)更多高端的人才，幫助那些即將或者目前從事科研的朋友，同時幫助已從事AI行業(yè)的提高技術深度。?

在本期訓練營（第四期）中我對內(nèi)容做了大幅度的更新，一方面新增了對前沿主題的講解如圖神經(jīng)網(wǎng)絡（GCN,GAT等），另外一方面對核心部分（如凸優(yōu)化、強化學習）加大了對理論層面上的深度。除此之外，也會包含科研方法論、元學習、解釋性、Fair learning等系列主題。目前在全網(wǎng)上應該找不到類似體系化的課程。采用全程直播授課模式。

那什么樣的人適合來參加高階班呢？

• 從事AI行業(yè)多年，但技術上總感覺不夠深入，感覺在技術上遇到了瓶頸；?

• 停留在使用模型/工具上，很難基于業(yè)務場景來提出新的模型；?

• 對于機器學習背后的優(yōu)化理論、前沿的技術不夠深入；

• 計劃從事尖端的科研、研究工作、申請AI領域研究生、博士生；?

• 打算進入最頂尖的AI公司比如Google，Facebook，Amazon， 阿里，頭條等；

• 讀ICML，IJCAI等會議文章比較吃力，似懂非懂感覺，無法把每個細節(jié)理解透；

01 課程大綱

第一部分：凸優(yōu)化與機器學習

第一周：凸優(yōu)化介紹

• 從優(yōu)化角度理解機器學習

• 優(yōu)化技術的重要性

• 常見的凸優(yōu)化問題

• 線性規(guī)劃以及Simplex Method

• Two-Stage?LP

• 案例：運輸問題講解

?

?

第二周：凸函數(shù)講解

• 凸集的判斷

• First-Order Convexity

• Second-order Convexity

• Operations Preserve Convexity

• 二次規(guī)劃問題（QP)

• 案例：最小二乘問題

• 項目作業(yè)：股票投資組合優(yōu)化

?

第三周：凸優(yōu)化問題

• 常見的凸優(yōu)化問題類別

• 半定規(guī)劃問題

• 幾何規(guī)劃問題

• 非凸函數(shù)的優(yōu)化

• 松弛化（Relaxation）

• 整數(shù)規(guī)劃（Integer Programming)

• 案例：打車中的匹配問題

?

第四周：對偶（Duality）

• 拉格朗日對偶函數(shù)

• 對偶的幾何意義

• Weak and Strong Duality

• KKT條件

• LP, QP, SDP的對偶問題

• 案例：經(jīng)典模型的對偶推導及實現(xiàn)

• 對偶的其他應用

第五周：優(yōu)化技術

• 一階與二階優(yōu)化技術

• Gradient Descent

• Subgradient Method

• Proximal Gradient Descent

• Projected Gradient Descent

• SGD與收斂

• Newton's Method

• Quasi-Newton's Method

第二部分?圖神經(jīng)網(wǎng)絡

第六周：?數(shù)學基礎

• 向量空間和圖論基礎

• Inner Product, Hilbert Space

• Eigenfunctions, Eigenvalue

• 傅里葉變化

• 卷積操作

• Time Domain, Spectral Domain

• Laplacian, Graph Laplacian

?

第七周：譜域的圖神經(jīng)網(wǎng)絡

• 卷積神經(jīng)網(wǎng)絡回歸

• 卷積操作的數(shù)學意義

• Graph Convolution

• Graph Filter

• ChebNet

• CayleyNet

• GCN

• Graph Pooling

• 案例：基于GCN的推薦

?

第八周：空間域的圖神經(jīng)網(wǎng)絡

• Spatial Convolution

• Mixture Model Network (MoNet)

• 注意力機制

• Graph Attention Network(GAT)

• Edge Convolution

• 空間域與譜域的比較

• 項目作業(yè)：基于圖神經(jīng)網(wǎng)絡的鏈路預測

?

第九周：圖神經(jīng)網(wǎng)絡改進與應用

• 拓展1: ? Relative Position與圖神經(jīng)網(wǎng)絡

• 拓展2：融入Edge特征：Edge GCN

• 拓展3：圖神經(jīng)網(wǎng)絡與知識圖譜: Knowledge GCN

• 拓展4：姿勢識別：ST-GCN

• 案例：基于圖的文本分類

• 案例：基于圖的閱讀理解

第三部分?強化學習

第十周：強化學習基礎

• Markov Decision Process

• Bellman Equation

• 三種方法：Value，Policy，Model-Based

• Value-Based Approach: Q-learning

• Policy-Based Approach: SARSA

第十一周：Multi-Armed Bandits

• Multi-Armed bandits

• Epsilon-Greedy

• Upper Confidence Bound (UCB)

• Contextual UCB

• LinUCB & Kernel UCB

• 案例：Bandits在推薦系統(tǒng)的應用案例

?

第十二周：路徑規(guī)劃

• Monte-Carlo Tree Search

• N-step learning

• Approximation

• Reward Shaping

• 結(jié)合深度學習：Deep RL

• 項目作業(yè)：強化學習在游戲中的應用案例

?

第十三周: 自然語言處理中的RL

• Seq2seq模型的問題

• 結(jié)合Evaluation Metric的自定義loss

• 結(jié)合aspect的自定義loss

• 不同RL模型與seq2seq模型的結(jié)合

• 案例：基于RL的文本生成

第四部分?貝葉斯方法

第十四周：貝葉斯方法論簡介

• 貝葉斯定理

• 從MLE, MAP到貝葉斯估計

• 集成模型與貝葉斯方法比較

• 計算上的Intractiblity

• MCMC與變分法簡介

• 貝葉斯線性回歸

• 貝葉斯神經(jīng)網(wǎng)絡

• 案例：基于Bayesian-LSTM的命名實體識別

?

?

第十五周：主題模型

• 生成模型與判別模型

• 隱變量模型

• 貝葉斯中Prior的重要性

• 狄利克雷分布、多項式分布

• LDA的生成過程

• LDA中的參數(shù)與隱變量

• Supervised LDA

• Dynamic LDA

• LDA的其他變種

• 項目作業(yè)：LDA的基礎上修改并搭建無監(jiān)督情感分析模型

?

?

第十六周：MCMC方法

• Detailed Balance

• 對于LDA的吉布斯采樣

• 對于LDA的Collapsed吉布斯采樣

• Metropolis Hasting

• Importance Sampling

• Rejection Sampling

• 大規(guī)模分布式MCMC

• 大數(shù)據(jù)與SGLD

• 案例：基于分布式的LDA訓練

?

?

第十七周：變分法（Variational Method)

• 變分法核心思想

• KL散度與ELBo的推導

• Mean-Field變分法

• EM算法

• LDA的變分法推導

• 大數(shù)據(jù)與SVI

• 變分法與MCMC的比較

• Variational Autoencoder

• Probabilistic Programming

• 案例：使用概率編程工具來訓練貝葉斯模型

第十八周：其他前沿主題

• 模型的可解釋性

• 解釋CNN模型

• 解釋序列模型

• Meta Learing

• Fair Learning

• 技術前瞻

●●●

課程其他的細節(jié)可以聯(lián)系課程顧問來獲取

添加課程顧問微信

報名、課程咨詢

????????????

02?部分案例和項目

運輸優(yōu)化問題：在運籌學以及優(yōu)化領域最為經(jīng)典的問題之一，類似的思想廣泛應用在倉庫優(yōu)化，匹配等問題上。

涉及到的知識點：

• 線性回歸以及優(yōu)化實現(xiàn)

• Two-Stage隨機線性規(guī)劃一下優(yōu)化實現(xiàn)

打車中的路徑規(guī)劃問題：我們幾乎每天都在使用打車軟件或者外賣軟件。對于這些應用來講，核心算法應用就是乘客和車輛的匹配。

涉及到的知識點：

• Mixed Integer Linear Programming
  

• 提供approximation bounds

經(jīng)典機器學習模型的對偶推導及實現(xiàn)：通過此練習，更深入理解機器學習模型以及對偶的作用。

涉及到的知識點：

• SVM，LP等模型
  

• 對偶技術

• KKT條件

基于圖神經(jīng)網(wǎng)絡的文本分類：當使用語法分析工具處理文本之后，一段文本便可以成為一個圖，接下來就可以使用圖卷積神經(jīng)網(wǎng)絡來做后續(xù)的分類工作

涉及到的知識點：

• 語法分析

• 圖神經(jīng)網(wǎng)絡

基于圖神經(jīng)網(wǎng)絡的閱讀理解：一般的閱讀需要讓機器閱讀多個文章并對提出的問題給出答案。在閱讀理解中抽取關鍵的實體和關系變得很重要，這些實體和關系可以用來構(gòu)造一個圖。

涉及到的知識點：

• 命名識別，關系抽取

• 圖神經(jīng)網(wǎng)絡

• Heterogeneous Graph
  

Bandits在推薦系統(tǒng)的應用案例：Bandits應用在順序決策問題的應用中有易于實現(xiàn)、計算效率高、解決冷啟動問題、數(shù)據(jù)標注相對要求不高（一般只需部分標注作為reward，如用戶點擊）等優(yōu)點。本案例講解bandits如何應用在新聞推薦的系統(tǒng)中做基于內(nèi)容的推薦。

????涉及到的知識點：

• Exploration & Exploitation

• Epsilon Greedy

• Upper Confidential Bounder

• LineUCB

使用概率編程工具來訓練貝葉斯模型：類似于Pytorch，Tensorflow，概率編程工具提供了對貝葉斯模型的自動學習，我們以LDA等模型為例來說明這些工具的使用。?

涉及到的知識點：

• 概率編程

• 主題模型

• MCMC和變分法

股票投資組合優(yōu)化：在投資組合優(yōu)化中，我們需要根據(jù)用戶的風險承受能力來設計并組合資產(chǎn)。在本項目中，我們試著在二次規(guī)劃的框架下做一些必要的修改如加入必要的限制條件、必要的正則來控制組合的稀疏性、加入投資中的先驗等信息，最后根據(jù)預先定義好的評估標準來引導模型的學習

涉及到的知識點：

• 二次規(guī)劃

• 不同的正則使用

• 基于限制條件的優(yōu)化

• 先驗的引入

課程其他的細節(jié)可以聯(lián)系課程顧問來獲取

添加課程顧問微信

報名、課程咨詢

????????????

03?授課導師

李文哲：貪心科技創(chuàng)始人兼CEO，人工智能和知識圖譜領域?qū)＜?#xff0c;曾任金融科技獨角獸公司的首席科學家、美國亞馬遜的高級工程師，先后負責過聊天機器人、量化交易、自適應教育、金融知識圖譜等項目，并在AAAI、KDD、AISTATS等頂會上發(fā)表過15篇以上論文，并榮獲IAAI，IPDPS的最佳論文獎，多次出席行業(yè)峰會發(fā)表演講。分別在USC, TAMU，南開攻讀博士、碩士和本科。

?

楊棟：香港城市大學博士, UC Merced博士后，主要從事于機器學習，圖卷積，圖嵌入的研究。先后在ECCV, Trans on Cybernetics, Trans on NSE, INDIN等國際頂會及期刊上發(fā)表過數(shù)篇論文。

04直播授課，現(xiàn)場推導演示

區(qū)別于劣質(zhì)的PPT講解，導師全程現(xiàn)場推導，讓你在學習中有清晰的思路，深刻的理解算法模型背后推導的每個細節(jié)。更重要的是可以清晰地看到各種模型之間的關系！幫助你打通六脈！

▲源自：LDA模型講解

▲源自：Convex Optimization 講解

▲源自：Convergence Analysis 講解

05?課程安排（以前兩周為例）

06 課程適合誰？

大學生

• 計算機相關專業(yè)的本科/碩士/博士生，需要具備一定的機器學習基礎

• 希望能夠深入AI領域，為科研或者出國做準備

• 想在步入職場前，深入AI領域，并把自己培養(yǎng)成T字形人才

在職人士

• 目前從事AI相關的項目工作，具有良好的機器學習基礎

• 希望打破技術上的天花板，能夠有能力去做模型上的創(chuàng)新

• 以后往資深工程師、研究員、科學家的職業(yè)路徑發(fā)展

?

07 報名須知

1、本課程為收費教學。

2、本期僅招收剩余名額有限。

3、品質(zhì)保障！正式開課后7天內(nèi)，無條件全額退款。

4、學習本課程需要具備一定的機器學習基礎。

●●●

課程其他的細節(jié)可以聯(lián)系課程顧問來獲取

添加課程顧問微信

報名、課程咨詢

????????????

總結(jié)

以上是生活随笔為你收集整理的导师实验室对学生影响有多大？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。