http://www1.bbsland.com/education/messages/236421.html

談?wù)剻C(jī)器學(xué)習(xí)(Machine Learning)大家 (full version)

送交者: HiT, 2005年8月23日08:58:07 于 [教育與學(xué)術(shù)]http://www.bbsland.com??

閑著無(wú)事，想寫點(diǎn)一些我所了解的machine learning大家。由于學(xué)識(shí)淺薄，見(jiàn)識(shí)有限，并且僅局限于某些領(lǐng)域，一些在NLP及最近很熱的生物信息領(lǐng)域活躍的學(xué)者我就淺陋無(wú)知，所以不對(duì)的地方大家僅當(dāng)一笑。

Machine Learning 大家(1)：M. I. Jordan (http://www.cs.berkeley.edu/~jordan/)

在我的眼里，M Jordan無(wú)疑是武林中的泰山北斗。他師出MIT，現(xiàn)在在berkeley坐鎮(zhèn)一方，在附近的兩所名校（加stanford）中都可以說(shuō)無(wú)出其右者，stanford的Daphne Koller雖然也聲名遐邇，但是和Jordan比還是有一段距離。

Jordan身兼stat和cs兩個(gè)系的教授，從他身上可以看出Stat和ML的融合。

Jordan最先專注于mixtures of experts，并迅速奠定了自己的地位，我們哈爾濱工業(yè)大學(xué)的校友徐雷跟他做博后期間，也在這個(gè)方向上沾光不少。Jordan和他的弟子在很多方面作出了開創(chuàng)性的成果，如spectral clustering， Graphical model和nonparametric Bayesian。現(xiàn)在后兩者在ML領(lǐng)域是非常炙手可熱的兩個(gè)方向，可以說(shuō)很大程度上是Jordan的lab一手推動(dòng)的。

更難能可貴的是，Jordan不僅自己武藝高強(qiáng)，并且攬錢有法，教育有方，手下門徒眾多且很多人成了大器，隱然成為江湖大幫派。他的弟子中有10多人任教授，個(gè)人認(rèn)為他現(xiàn)在的弟子中最出色的是stanford的Andrew Ng，不過(guò)由于資歷原因，現(xiàn)在還是assistant professor，不過(guò)成為大教授指日可待；另外Tommi Jaakkola和David Blei也非常厲害，其中Tommi Jaakkola在mit任教而David Blei在cmu做博后，數(shù)次獲得NIPS最佳論文獎(jiǎng)，把SVM的最大間隔方法和Markov network的structure結(jié)構(gòu)結(jié)合起來(lái)，赫赫有名。還有一個(gè)博后是來(lái)自于toronto的Yee Whye Teh，非常不錯(cuò)，有幸跟他打過(guò)幾次交道，人非常nice。另外還有一個(gè)博后居然在做生物信息方面的東西，看來(lái)jordan在這方面也撈了錢。這方面他有一個(gè)中國(guó)學(xué)生Eric P. Xing(清華大學(xué)校友)，現(xiàn)在在cmu做assistant professor。

總的說(shuō)來(lái)，我覺(jué)得Jordan現(xiàn)在做的主要還是graphical model和Bayesian learning，他去年寫了一本關(guān)于graphical model的書，今年由mit press出版，應(yīng)該是這個(gè)領(lǐng)域里程碑式的著作。3月份曾經(jīng)有人答應(yīng)給我一本打印本看看，因?yàn)镴ordan不讓他傳播電子版，但后來(lái)好像沒(méi)放在心上（可見(jiàn)美國(guó)人也不是很守信的），人不熟我也不好意思問(wèn)著要，可以說(shuō)是一大遺憾. 另外發(fā)現(xiàn)一個(gè)有趣的現(xiàn)象就是Jordan對(duì)hierarchical情有獨(dú)鐘，相當(dāng)多的文章都是關(guān)于hierarchical的，所以能hierarchical大家趕快hierarchical，否則就讓他給搶了。

用我朋友話說(shuō)看jordan牛不牛，看他主頁(yè)下面的Past students and postdocs就知道了。

Machine Learning大家（2）：D. Koller (http://ai.stanford.edu/~koller/)

D. Koller是1999年美國(guó)青年科學(xué)家總統(tǒng)獎(jiǎng)(PECASE)得主，IJCAI 2001 Computers and Thought Award(IJCAI計(jì)算機(jī)與思維獎(jiǎng)，這是國(guó)際人工智能界35歲以下青年學(xué)者的最高獎(jiǎng))得主，2004 World Technology Award得主。

最先知道D koller是因?yàn)樗昧艘粋€(gè)大獎(jiǎng)，2001年IJCAI計(jì)算機(jī)與思維獎(jiǎng)。Koller因她在概率推理的理論和實(shí)踐、機(jī)器學(xué)習(xí)、計(jì)算博弈論等領(lǐng)域的重要貢獻(xiàn)，成為繼Terry Winograd、David Marr、Tom Mitchell、Rodney Brooks等人之后的第18位獲獎(jiǎng)?wù)摺Ｕf(shuō)起這個(gè)獎(jiǎng)挺有意思的，IJCAI終身成就獎(jiǎng)（IJCAI Award for Research Excellence），是國(guó)際人工智能界的最高榮譽(yù); IJCAI計(jì)算機(jī)與思維獎(jiǎng)是國(guó)際人工智能界35歲以下青年學(xué)者的最高榮譽(yù)。早期AI研究將推理置于至高無(wú)上的地位; 但是1991年牛人Rodney Brooks對(duì)推理全面否定，指出機(jī)器只能獨(dú)立學(xué)習(xí)而得到了IJCAI計(jì)算機(jī)與思維獎(jiǎng); 但是koller卻因提出了Probabilistic Relational Models 而證明機(jī)器可以推理論知而又得到了這個(gè)獎(jiǎng)，可見(jiàn)世事無(wú)絕對(duì)，科學(xué)有輪回。

D koller的Probabilistic Relational Models在nips和icml等各種牛會(huì)上活躍了相當(dāng)長(zhǎng)的一段時(shí)間，并且至少在實(shí)驗(yàn)室里證明了它在信息搜索上的價(jià)值，這也導(dǎo)致了她的很多學(xué)生進(jìn)入了google。雖然進(jìn)入google可能沒(méi)有在牛校當(dāng)faculty名聲響亮，但要知道google的很多員工現(xiàn)在可都是百萬(wàn)富翁，在全美大肆買房買車的主。

Koller的研究主要都集中在probabilistic graphical model，如Bayesian網(wǎng)絡(luò)，但這玩意我沒(méi)有接觸過(guò)，我只看過(guò)幾篇他們的markov network的文章，但看了也就看了，一點(diǎn)想法都沒(méi)有，這灘水有點(diǎn)深，不是我這種非科班出身的能趟的，并且感覺(jué)難以應(yīng)用到我現(xiàn)在這個(gè)領(lǐng)域中。

Koller才從教10年，所以學(xué)生還沒(méi)有涌現(xiàn)出太多的牛人，這也是她不能跟Jordan比擬的地方，并且由于在stanford的關(guān)系，很多學(xué)生直接去硅谷賺大錢去了，而沒(méi)有在學(xué)術(shù)界開江湖大幫派的影響，但在stanford這可能太難以辦到，因?yàn)榻疱X的誘惑實(shí)在太大了。不過(guò)Koller的一個(gè)學(xué)生我非常崇拜，叫Ben Taskar，就是我在（1）中所提到的Jordan的博后，是好幾個(gè)牛會(huì)的最佳論文獎(jiǎng)，他把SVM的最大間隔方法和Markov network結(jié)合起來(lái)，可以說(shuō)是對(duì)structure data處理的一種標(biāo)準(zhǔn)工具，也把最大間隔方法帶入了一個(gè)新的熱潮，近幾年很多牛會(huì)都有這樣的workshop。我最開始上Ben Taskar的在stanford的個(gè)人網(wǎng)頁(yè)時(shí)，正趕上他剛畢業(yè)，他的頂上有這么一句話：流言變成了現(xiàn)實(shí)，我終于畢業(yè)了！ 可見(jiàn)Koller是很變態(tài)的，把自己的學(xué)生關(guān)得這么郁悶，這恐怕也是大多數(shù)女faculty的通病吧，并且估計(jì)還非常的push！

Machine learning 大家（3）: J. D. Lafferty

大家都知道NIPS和ICML向來(lái)都是由大大小小的山頭所割據(jù)，而John Lafferty無(wú)疑是里面相當(dāng)高的一座高山，這一點(diǎn)可從他的publication list里的NIPS和ICML數(shù)目得到明證。雖然江湖傳說(shuō)計(jì)算機(jī)重鎮(zhèn)CMU現(xiàn)在在走向衰落，但這無(wú)礙Lafferty擁有越來(lái)越大的影響力，翻開AI兵器譜排名第一的journal of machine learning research的很多文章，我們都能發(fā)現(xiàn)author或者editor中赫然有Lafferty的名字。

Lafferty給人留下的最大的印象似乎是他2001年的conditional random fields，這篇文章后來(lái)被瘋狂引用，廣泛地應(yīng)用在語(yǔ)言和圖像處理，并隨之出現(xiàn)了很多的變體，如Kumar的discriminative random fields等。雖然大家都知道discriminative learning好，但很久沒(méi)有找到好的discriminative方法去處理這些具有豐富的contextual inxxxxation的數(shù)據(jù)，直到Lafferty的出現(xiàn)。

而現(xiàn)在Lafferty做的東西好像很雜，semi－supervised learning， kernel learning，graphical models甚至manifold learning都有涉及，可能就是像武俠里一樣只要學(xué)會(huì)了九陽(yáng)神功，那么其它的武功就可以一窺而知其精髓了。這里面我最喜歡的是semi－supervised learning，因?yàn)殡S著要處理的數(shù)據(jù)越來(lái)越多，進(jìn)行全部label過(guò)于困難，而完全unsupervised的方法又讓人不太放心，在這種情況下semi－supervised learning就成了最好的。這沒(méi)有一個(gè)比較清晰的認(rèn)識(shí)，不過(guò)這也給了江湖后輩成名的可乘之機(jī)。到現(xiàn)在為止，我覺(jué)得cmu的semi－supervised是做得最好的，以前是KAMAL NIGAM做了開創(chuàng)性的工作，而現(xiàn)在Lafferty和他的弟子作出了很多總結(jié)和創(chuàng)新。

Lafferty的弟子好像不是很多，并且好像都不是很有名。不過(guò)今年畢業(yè)了一個(gè)中國(guó)人，Xiaojin Zhu(上海交通大學(xué)校友)，就是做semi－supervised的那個(gè)人，現(xiàn)在在wisconsin-madison做assistant professor。他做了迄今為止最全面的Semi-supervised learning literature survey，大家可以從他的個(gè)人主頁(yè)中找到。這人看著很憨厚，估計(jì)是很好的陶瓷對(duì)象。另外我在（1）中所說(shuō)的Jordan的牛弟子D Blei今年也投奔Lafferty做博后，就足見(jiàn)Lafferty的牛了。

Lafferty做NLP是很好的，著名的Link Grammar Parser還有很多別的應(yīng)用。其中l(wèi)anguage model在IR中應(yīng)用，這方面他的另一個(gè)中國(guó)學(xué)生ChengXiang Zhai(南京大學(xué)校友，2004年美國(guó)青年科學(xué)家總統(tǒng)獎(jiǎng)(PECASE)得主)，現(xiàn)在在uiuc做assistant professor。

Machine learning 大家（4): Peter L. Bartlett

鄙人淺薄之見(jiàn)，Jordan比起同在berkeley的Peter Bartlett還是要差一個(gè)層次。Bartlett主要的成就都是在learning theory方面，也就是ML最本質(zhì)的東西。他的幾篇開創(chuàng)性理論分析的論文，當(dāng)然還有他的書Neural Network Learning: Theoretical Foundations。

UC Berkeley的統(tǒng)計(jì)系在強(qiáng)手如林的北美高校中一直是top3，這就足以證明其肯定是群星薈萃，而其中，Peter L. Bartlett是相當(dāng)亮的一顆星。關(guān)于他的研究，我想可以從他的一本書里得到答案：Neural Network Learning: Theoretical Foundations。也就是說(shuō)，他主要做的是Theoretical Foundations。基礎(chǔ)理論雖然沒(méi)有一些直接可面向應(yīng)用的算法那樣引人注目，但對(duì)科學(xué)的發(fā)展實(shí)際上起著更大的作用。試想vapnik要不是在VC維的理論上辛苦了這么多年，怎么可能有SVM的問(wèn)世。不過(guò)陽(yáng)春白雪固是高雅，但大多數(shù)人只能聽懂下里巴人，所以Bartlett的文章大多只能在做理論的那個(gè)圈子里產(chǎn)生影響，而不能為大多數(shù)人所廣泛引用。

Bartlett在最近兩年做了大量的Large margin classifiers方面的工作，如其convergence rate和generalization bound等。并且很多是與jordan合作，足見(jiàn)兩人的工作有很多相通之處。不過(guò)我發(fā)現(xiàn)Bartlett的大多數(shù)文章都是自己為第一作者，估計(jì)是在教育上存在問(wèn)題吧，沒(méi)帶出特別牛的學(xué)生出來(lái)。

Bartlett的個(gè)人主頁(yè)的talk里有很多值得一看的slides,如Large Margin Classifiers: Convexity and Classification；Large Margin Methods for Structured Classification: Exponentiated Gradient Algorithms。大家有興趣的話可以去下來(lái)看看。

Machine learning 大家（5):?? Michael Collins

Michael Collins (http://people.csail.mit.edu/mcollins/
自然語(yǔ)言處理(NLP)江湖的第一高人。出身Upenn，靠一身叫做Collins Parser的武功在江湖上展露頭腳。當(dāng)然除了資質(zhì)好之外，其出身也幫了不少忙。早年一個(gè)叫做Mitchell P. Marcus的師傅傳授了他一本葵花寶典-Penn Treebank。從此，Collins整日沉迷于此，終于練成蓋世神功。

學(xué)成之后，Collins告別師傅開始闖蕩江湖，投入了一個(gè)叫AT&T Labs Research的幫會(huì)，并有幸結(jié)識(shí)了Robert Schapire、Yoram Singer等眾多高手。大家不要小瞧這個(gè)叫AT&T Labs Research的幫會(huì)，如果誰(shuí)沒(méi)有聽過(guò)它的大名總該知道它的同父異母的兄弟Bell Labs吧。

言歸正傳，話說(shuō)Collins在這里度過(guò)了3年快樂(lè)的時(shí)光。其間也奠定了其NLP江湖老大的地位。并且練就了Discriminative Reranking， Convolution Kernels，Discriminative Training Methods for Hidden Markov Models等多種絕技。然而，世事難料，怎奈由于幫會(huì)經(jīng)營(yíng)不善，這幫大牛又不會(huì)為幫會(huì)拼殺，終于被一腳踢開，大家如鳥獸散了。Schapire去了Princeton， Singer 也回老家以色列了。Collins來(lái)到了MIT，成為了武林第一大幫的六袋長(zhǎng)老，并教授一門叫做Machine Learning Approaches for NLP (http://www.ai.mit.edu/courses/6.891-nlp/) 的功夫。雖然這一地位與其功力極不相符，但是這并沒(méi)有打消Collins的積極性，通過(guò)其刻苦打拼，終于得到了一個(gè)叫Sloan Research Fellow的頭銜，并于今年7月，光榮的升任7袋Associate Professor。

在其下山短短7年時(shí)間內(nèi)，Collins共獲得了4次世界級(jí)武道大會(huì)冠軍(EMNLP2002, 2004, UAI2004, 2005)。相信年輕的他，總有一天會(huì)一統(tǒng)丐幫，甚至整個(gè)江湖。

看過(guò)Collins和別人合作的一篇文章，用conditional random fields 做object recogntion。還這么年輕，admire to death！