机器学习大家与资源
?原文鏈接：http://blog.csdn.net/linuxcumt/article/details/8576020
這個人的系列：看一看的好：http://blog.csdn.net/jwh_bupt/article/category/837382
一：Machine Learning 大家(1)：M. I. Jordan (http://www.cs.berkeley.edu/~jordan/)
，在附近的兩所名校（加stanford）中都可以說無出其右者，stanford的Daphne Koller雖
然也聲名遐邇，但是和Jordan比還是有一段距離。
???Jordan身兼stat和cs兩個系的教授，從他身上可以看出Stat和ML的融合。
???Jordan最先專注于mixtures of experts，并迅速奠定了自己的地位，我們哈爾濱工業大
學的校友徐雷跟他做博后期間，也在這個方向上沾光不少。Jordan和他的弟子在很多方面作
出了開創性的成果，如spectral clustering， Graphical model和nonparametric Bayesi
an。現在后兩者在ML領域是非常炙手可熱的兩個方向，可以說很大程度上是Jordan的lab一
手推動的。
???更難能可貴的是，Jordan不僅自己武藝高強，并且攬錢有法，教育有方，手下門徒眾多
且很多人成了大器，隱然成為江湖大幫派。他的弟子中有10多人任教授，個人認為他現在的
弟子中最出色的是stanford的Andrew Ng，不過由于資歷原因，現在還是assistant profes
sor，不過成為大教授指日可待；另外Tommi Jaakkola和David Blei也非常厲害，其中Tomm
i Jaakkola在mit任教而David Blei在cmu做博后，數次獲得NIPS最佳論文獎，把SVM的最大
間隔方法和Markov network的structure結構結合起來，赫赫有名。還有一個博后是來自于
toronto的Yee Whye Teh，非常不錯，有幸跟他打過幾次交道，人非常nice。另外還有一個
博后居然在做生物信息方面的東西，看來jordan在這方面也撈了錢。這方面他有一個中國學
生Eric P. Xing(清華大學校友)，現在在cmu做assistant professor。
???總的說來，我覺得Jordan現在做的主要還是graphical model和Bayesian learning，他
去年寫了一本關于graphical model的書，今年由mit press出版，應該是這個領域里程碑式
的著作。3月份曾經有人答應給我一本打印本看看，因為Jordan不讓他傳播電子版，但后來
好像沒放在心上（可見美國人也不是很守信的），人不熟我也不好意思問著要，可以說是一
大遺憾. 另外發現一個有趣的現象就是Jordan對hierarchical情有獨鐘，相當多的文章都是
關于hierarchical的，所以能hierarchical大家趕快hierarchical，否則就讓他給搶了。
???用我朋友話說看jordan牛不牛，看他主頁下面的Past students and postdocs就知道了
。
Machine Learning大家（2）：D. Koller (http://ai.stanford.edu/~koller/)
???D. Koller是1999年美國青年科學家總統獎(PECASE)得主，IJCAI 2001 Computers and
Thought Award(IJCAI計算機與思維獎，這是國際人工智能界35歲以下青年學者的最高獎)得
主，2004 World Technology Award得主。
???最先知道D koller是因為她得了一個大獎，2001年IJCAI計算機與思維獎。Koller因她在
概率推理的理論和實踐、機器學習、計算博弈論等領域的重要貢獻，成為繼Terry Winogra
d、David Marr、Tom Mitchell、Rodney Brooks等人之后的第18位獲獎者。說起這個獎挺有
意思的，IJCAI終身成就獎（IJCAI Award for Research Excellence），是國際人工智能界
的最高榮譽; IJCAI計算機與思維獎是國際人工智能界35歲以下青年學者的最高榮譽。早期
AI研究將推理置于至高無上的地位; 但是1991年牛人Rodney Brooks對推理全面否定，指出
機器只能獨立學習而得到了IJCAI計算機與思維獎; 但是koller卻因提出了Probabilistic
Relational Models 而證明機器可以推理論知而又得到了這個獎，可見世事無絕對，科學有
輪回。
???D koller的Probabilistic Relational Models在nips和icml等各種牛會上活躍了相當長
的一段時間，并且至少在實驗室里證明了它在信息搜索上的價值，這也導致了她的很多學生
進入了google。雖然進入google可能沒有在牛校當faculty名聲響亮，但要知道google的很
多員工現在可都是百萬富翁，在全美大肆買房買車的主。
???Koller的研究主要都集中在probabilistic graphical model，如Bayesian網絡，但這玩
意我沒有接觸過，我只看過幾篇他們的markov network的文章，但看了也就看了，一點想法
都沒有，這灘水有點深，不是我這種非科班出身的能趟的，并且感覺難以應用到我現在這個
領域中。
???Koller才從教10年，所以學生還沒有涌現出太多的牛人，這也是她不能跟Jordan比擬的
地方，并且由于在stanford的關系，很多學生直接去硅谷賺大錢去了，而沒有在學術界開江
湖大幫派的影響，但在stanford這可能太難以辦到，因為金錢的誘惑實在太大了。不過Kol
ler的一個學生我非常崇拜，叫Ben Taskar，就是我在（1）中所提到的Jordan的博后，是好
幾個牛會的最佳論文獎，他把SVM的最大間隔方法和Markov network結合起來，可以說是對
structure data處理的一種標準工具，也把最大間隔方法帶入了一個新的熱潮，近幾年很多
牛會都有這樣的workshop。 我最開始上Ben Taskar的在stanford的個人網頁時，正趕上他
剛畢業，他的頂上有這么一句話：流言變成了現實，我終于畢業了！ 可見Koller是很變態
的，把自己的學生關得這么郁悶，這恐怕也是大多數女faculty的通病吧，并且估計還非常
的push！
Machine learning 大家（3）: J. D. Lafferty
???大家都知道NIPS和ICML向來都是由大大小小的山頭所割據，而John Lafferty無疑是里面
相當高的一座高山，這一點可從他的publication list里的NIPS和ICML數目得到明證。雖然
江湖傳說計算機重鎮CMU現在在走向衰落，但這無礙Lafferty擁有越來越大的影響力，翻開
AI兵器譜排名第一的journal of machine learning research的很多文章，我們都能發現a
uthor或者editor中赫然有Lafferty的名字。
???Lafferty給人留下的最大的印象似乎是他2001年的conditional random fields，這篇文
章后來被瘋狂引用，廣泛地應用在語言和圖像處理，并隨之出現了很多的變體，如Kumar的
discriminative random fields等。雖然大家都知道discriminative learning好，但很久
沒有找到好的discriminative方法去處理這些具有豐富的contextual inxxxxation的數據，
直到Lafferty的出現。
???而現在Lafferty做的東西好像很雜，semi－supervised learning， kernel learning，
graphical models甚至manifold learning都有涉及，可能就是像武俠里一樣只要學會了九
陽神功，那么其它的武功就可以一窺而知其精髓了。這里面我最喜歡的是semi－supervise
d learning，因為隨著要處理的數據越來越多，進行全部label過于困難，而完全unsuperv
ised的方法又讓人不太放心，在這種情況下semi－supervised learning就成了最好的。這
沒有一個比較清晰的認識，不過這也給了江湖后輩成名的可乘之機。到現在為止，我覺得c
mu的semi－supervised是做得最好的，以前是KAMAL NIGAM做了開創性的工作，而現在Laff
erty和他的弟子作出了很多總結和創新。
???Lafferty的弟子好像不是很多，并且好像都不是很有名。不過今年畢業了一個中國人，
Xiaojin Zhu(上海交通大學校友)，就是做semi－supervised的那個人，現在在wisconsin-
madison做assistant professor。他做了迄今為止最全面的Semi-supervised learning li
terature survey， 大家可以從他的個人主頁中找到。這人看著很憨厚，估計是很好的陶瓷
對象。另外我在（1）中所說的Jordan的牛弟子D Blei今年也投奔Lafferty做博后，就足見
Lafferty的牛了。
???Lafferty做NLP是很好的，著名的Link Grammar Parser還有很多別的應用。其中langua
ge model在IR中應用，這方面他的另一個中國學生ChengXiang Zhai(南京大學校友，2004年
美國青年科學家總統獎(PECASE)得主)，現在在uiuc做assistant professor。
Machine learning 大家（4): Peter L. Bartlett
???鄙人淺薄之見，Jordan比起同在berkeley的Peter Bartlett還是要差一個層次。Bartle
tt主要的成就都是在learning theory方面，也就是ML最本質的東西。他的幾篇開創性理論
分析的論文，當然還有他的書Neural Network Learning: Theoretical Foundations。
???UC Berkeley的統計系在強手如林的北美高校中一直是top3， 這就足以證明其肯定是群
星薈萃，而其中，Peter L. Bartlett是相當亮的一顆星。關于他的研究，我想可以從他的
一本書里得到答案：Neural Network Learning: Theoretical Foundations。也就是說，他
主要做的是Theoretical Foundations。基礎理論雖然沒有一些直接可面向應用的算法那樣
引人注目，但對科學的發展實際上起著更大的作用。試想vapnik要不是在VC維的理論上辛苦
了這么多年，怎么可能有SVM的問世。不過陽春白雪固是高雅，但大多數人只能聽懂下里巴
人，所以Bartlett的文章大多只能在做理論的那個圈子里產生影響，而不能為大多數人所廣
泛引用。
???Bartlett在最近兩年做了大量的Large margin classifiers方面的工作，如其converge
nce rate和generalization bound等。并且很多是與jordan合作，足見兩人的工作有很多相
通之處。不過我發現Bartlett的大多數文章都是自己為第一作者，估計是在教育上存在問題
吧，沒帶出特別牛的學生出來。
???Bartlett的個人主頁的talk里有很多值得一看的slides,如Large Margin Classifiers:
Convexity and Classification；Large Margin Methods for Structured Classificati
on: Exponentiated Gradient Algorithms。大家有興趣的話可以去下來看看。
Machine learning 大家（5):???Michael Collins
???Michael Collins (http://people.csail.mit.edu/mcollins/
自然語言處理(NLP)江湖的第一高人。出身Upenn，靠一身叫做Collins Parser的武功在江湖
上展露頭腳。當然除了資質好之外，其出身也幫了不少忙。早年一個叫做Mitchell P. Mar
cus的師傅傳授了他一本葵花寶典-Penn Treebank。從此，Collins整日沉迷于此，終于練成
蓋世神功。
???學成之后，Collins告別師傅開始闖蕩江湖，投入了一個叫AT&T Labs Research的幫會，
并有幸結識了Robert Schapire、Yoram Singer等眾多高手。大家不要小瞧這個叫AT&T Lab
s Research的幫會，如果誰沒有聽過它的大名總該知道它的同父異母的兄弟Bell Labs吧。
???言歸正傳，話說Collins在這里度過了3年快樂的時光。其間也奠定了其NLP江湖老大的地
位。并且練就了Discriminative Reranking， Convolution Kernels，Discriminative Tr
aining Methods for Hidden Markov Models等多種絕技。然而，世事難料，怎奈由于幫會
經營不善，這幫大牛又不會為幫會拼殺，終于被一腳踢開，大家如鳥獸散了。Schapire去了
Princeton， Singer 也回老家以色列了。Collins來到了MIT，成為了武林第一大幫的六袋
長老，并教授一門叫做Machine Learning Approaches for NLP (http://www.ai.mit.edu/
courses/6.891-nlp/) 的功夫。雖然這一地位與其功力極不相符，但是這并沒有打消Colli
ns的積極性，通過其刻苦打拼，終于得到了一個叫Sloan Research Fellow的頭銜，并于今
年7月，光榮的升任7袋Associate Professor。
???在其下山短短7年時間內，Collins共獲得了4次世界級武道大會冠軍(EMNLP2002, 2004,
UAI2004, 2005)。相信年輕的他，總有一天會一統丐幫，甚至整個江湖。
???看過Collins和別人合作的一篇文章，用conditional random fields 做object recogn
tion。還這么年輕，admire to death！
=======================國內====================
之前自己一直想總結一下國內搞機器學習和數據挖掘的大牛，但是自己太懶了。所以沒搞...
最近看到了下面轉載的這篇博文，感覺總結的比較全面了。
????個人認為，但從整體研究實力來說，機器學習和數據挖掘方向國內最強的地方還是在MSRA，
那邊的相關研究小組太多，很多方向都能和數據挖掘扯上邊。這里我再補充幾個相關研究方向
的年輕老師和學者吧。
蔡登：http://www.cad.zju.edu.cn/home/dengcai/,Han Jiawei老師的學生，博士畢業后回浙大
任教，也算是國內年輕一代的牛人了。
萬小軍：https://sites.google.com/site/wanxiaojun1979/，得翻墻才能看到主頁。主要
研究方向是文本挖掘和語義計算。自然語言方向好會議發了很多文章。
張磊：http://research.microsoft.com/en-us/um/people/leizhang/
-----------------------------------------------------------------------------------------------
原文地址：http://blog.csdn.net/playoffs/article/details/7588597
李航：http://research.microsoft.com/en- us/people/hangli/，是MSRA Web Search and?
Mining Group高級研究員和主管，主要研究領域是信息檢索，自然語言處理和統計學習。
近年來，主要與人合作使用機器學習方法對信息檢索中排序，相關性等問題的 研究。曾在
人大聽過一場他的講座，對實際應用的問題抽象，轉化和解決能力值得學習。
周志華：http://cs.nju.edu.cn/zhouzh/，是南京大學的杰青，機器學習和數據挖掘方面
國內的領軍人物，其好幾個研究生都 進入了美國一流高校如uiuc，cmu等學習和深造。周教授
在半監督學習，multi-label學習和集成學習方面在國際上有一定的影響力。另外，他也?
是ACML的創始人。人也很nice，曾經發郵件咨詢過一個naive的問題，周老師還在百忙之中
回復了我，并對我如何發郵件給了些許建議。
楊強：http://www.cse.ust.hk/~qyang/，香港科技大學教 授，也是KDD 2012的會議主席，
可見功力非同一般。楊教授是遷移學習的國際領軍人物，曾經的中國第一位acm全球冠軍上
交的戴文淵碩士期間就是跟他合作發表了一系列 高水平的文章。還有，楊教授曾有一個關
于機器學習和數據挖掘有意思的比喻：比如你訓練一只狗，若干年后，如果它忽然有一天能
幫你擦鞋洗衣服，那么這就是數 據挖掘；要是忽然有一天，你發現狗發裝成一個老太婆
消失了，那么這就是機器學習。
李建中：http://db.hit.edu.cn/jianzhongli/，哈工大和黑大共有教授，是分布式數據庫
的領軍人物。近年來，其團隊 在不確定性數據，sensor network方面也發表了一系列有名
文章。李教授為人師表，教書育人都做得了最好，在圈內是讓人稱道的好老師和好學者。
唐杰：http://keg.cs.tsinghua.edu.cn/jietang/，清華大學副教授，是圖挖掘方面的專家。
他主持設計和實現的Arnetminer是國內領先的圖挖掘系統，該系統也是多個會議的支持商。
張鈸：http://www.csai.tsinghua.edu.cn/personal_homepage/zhang_bo/index.html 清華
大學教授，中科院院士，。現任清華大學信息技術研究院指導委員會主任，微軟亞洲研究院
技術顧問等。主要從事人工智能、神經網絡、遺傳算法、智能機器 人、模式識別以及智能控
制等領域的研究工作。在過去二十多年中，張鈸教授系統地提出了問題求解的商空間理
論。近年來，他建立了神經與認知計算研究中心以及多媒體信息處理研究組。該研究組已在
圖像和視頻的分析與檢索方面取得一些重要研究成果。
劉鐵巖：http://research.microsoft.com/en-us/people/tyliu/ MSRA研究主管，
是learning to rank的國際知名學者。近年逐步轉向管理，研究興趣則開始關注計算廣告學方面。
王海峰：http://ir.hit.edu.cn/~wanghaifeng/ 信息檢索，自然語言處理，機器翻譯方面
的專家，ACL的副主席，百度高級科學家。近年，在百度主持研發了百度翻譯產品。
何曉飛：http://people.cs.uchicago.edu/~xiaofei/ 浙江大學教授，多媒體處理，
圖像檢索以及流型學習的國際領先學者。
朱軍：http://www.ml-thu.net/~jun/ 清華大學副教授，機器學習絕對重量級新星。
主要研究領域是latent variable models, large-margin learning, Bayesian nonparametrics,
?and sparse learning in high dimensions. 他也是今年龍星計劃的機器學習領域的主講人之一。
----------------------------------------------------------------------------------------------
吳軍：http://www.cs.jhu.edu/~junwu/ 騰訊副總裁，前google研究員。
著名《數學之美》和《浪潮之巔》系列的作者。
張棟：http://weibo.com/machinelearning?前百度科學家和google研究員，機器學習工業界的代表人物之一。
戴文淵：http://apex.sjtu.edu.cn/apex_wiki/Wenyuan_Dai 現百度鳳巢ctr預估組leader。
前ACM大賽冠軍，碩士期間一系列transfer learning方面的高水平論文讓人瞠目結舌。
======================資源====================
以前轉過一個計算機視覺領域內的牛人簡介，現在轉一個更寬范圍內的牛人簡介：
?
http://people.cs.uchicago.edu/~niyogi/
http://www.cs.uchicago.edu/people/
http://pages.cs.wisc.edu/~jerryzhu/
http://www.kyb.tuebingen.mpg.de/~chapelle
http://people.cs.uchicago.edu/~xiaofei/
http://www.cs.uiuc.edu/homes/dengcai2/
http://www.kyb.mpg.de/~bs
http://research.microsoft.com/~denzho/
http://www-users.cs.umn.edu/~kumar/dmbook/index.php#item5???????????
(resources for the book of the introduction of data mining by?Pang-ning Tan et.al.?)（國內已經有相應的中文版）
http://www.cs.toronto.edu/~roweis/lle/publications.html??? (lle算法源代碼及其相關論文)
http://dataclustering.cse.msu.edu/index.html#software（data clustering）
http://www.cs.toronto.edu/~roweis/???? (里面有好多資源)
http://www.cse.msu.edu/~lawhiu/? (manifold learning)
http://www.math.umn.edu/~wittman/mani/?(manifold learning demo in matlab)
http://www.iipl.fudan.edu.cn/~zhangjp/literatures/MLF/INDEX.HTM? (manifold learning in matlab)
http://videolectures.net/mlss05us_belkin_sslmm/?? (semi supervised learning with manifold?method by Belkin)
http://isomap.stanford.edu/??? (isomap主頁)
http://web.mit.edu/cocosci/josh.html? MIT??? TENENBAUM J B主頁
http://web.engr.oregonstate.edu/~tgd/??? （國際著名的人工智能專家 Thomas G. Dietterich）
http://www.cs.berkeley.edu/~jordan/?（MIchael I.Jordan）
http://www.cs.cmu.edu/~awm/? (Andrew W. Moore's? homepage)
http://learning.cs.toronto.edu/?（加拿大多倫多大學機器學習小組）
http://www.cs.cmu.edu/~tom/?（Tom Mitchell，里面有與教材匹配的slide。）
?
| Kernel Methods | |
| Alexander J. Smola Maximum Mean Discrepancy (MMD), Hilbert-Schmidt Independence Criterion (HSIC) Bernhard Sch?lkopf Kernel PCA James T Kwok Pre-Image, Kernel Learning, Core Vector Machine(CVM) Jieping Ye Kernel Learning, Linear Discriminate Analysis, Dimension Deduction | |
| Multi-Task Learning | |
| Andreas Argyriou Multi-Task Feature Learning Charles A. Micchelli Multi-Task Feature Learning, Multi-Task Kernel Learning Massimiliano Pontil Multi-Task Feature Learning Yiming Ying Multi-Task Feature Learning, Multi-Task Kernel Learning ? | |
| Semi-supervised Learning | |
Partha NiyogiManifold Regularization, Laplacian Eigenmaps Mikhail BelkinManifold Regularization, Laplacian Eigenmaps Vikas SindhwaniManifold Regularization Xiaojin ZhuGraph-based Semi-supervised Learning | |
| Multiple Instance Learning | |
| Sally A Goldman EM-DD, DD-SVM, Multiple Instance Semi Supervised Learning(MISS) | |
| Dimensionality Reduction | |
Neil LawrenceGaussian Process Latent Variable Models (GPLVM) Lawrence K. SaulMaximum Variance Unfolding(MVU), Semidefinite Embedding(SDE) | |
| Machine Learning | |
| Michael I. Jordan Graphical Models John Lafferty Diffusion Kernels, Graphical Models Daphne Koller Logic, Probability Zhang TongTheoretical Analysis of Statistical Algorithms, Multi-task Learning, Graph-based Semi-supervised Learning Zoubin GhahramaniBayesian approaches to machine learning Machine Learning @ Toronto | |
| Statitiscal Machine Learning & Optimization | |
| Jerome H Friedman GLasso, Statistical view of AdaBoost, Greedy Function Approximation Thevor Hastie Lasso Stephen Boyd Convex Optimization C.J Lin Libsvm |
?
?http://www.dice.ucl.ac.be/mlg/
半監督流形學習（流形正則化）
http://manifold.cs.uchicago.edu/
模式識別和神經網絡工具箱
http://www.ncrg.aston.ac.uk/netlab/index.php
機器學習開源代碼
http://mloss.org/software/tags/large-scale-learning/
統計學開源代碼
http://www.wessa.net/
matlab各種工具箱鏈接
http://www.tech.plym.ac.uk/spmc/links/matlab/matlab_toolbox.html
統計學學習經典在線教材
http://www.statistics4u.info/
機器學習開源源代碼
http://mloss.org/software/language/matlab/
======================會議====================
我知道的幾個人工智能會議(一流)下面同分的按字母序排列:?
IJCAI (1+): AI最好的綜合性會議, 1969年開始, 每兩年開一次, 奇數年開. 因為AI 實在太大, 所以雖然每屆基本上能錄100多篇（現在已經到200多篇了），但分到每個領域就沒幾篇了，象machine learning、computer vision這么大的領域每次大概也就10篇左右, 所以難度很大. 不過從錄用率上來看倒不太低,基本上20%左右, 因為內 行人都會掂掂分量, 沒希望的就別浪費reviewer的時間了. 最近中國大陸投往國際會議的文章象潮水一樣, 而且因為國內很少有能自己把關的研究組, 所以很多會議都在complain說中國的低質量文章嚴重妨礙了PC的工作效率. 在這種情況下, 估計這幾年國際會議的錄用率都會降下去. 另外, 以前的IJCAI是沒有poster的, 03年開始, 為了減少被誤殺的好人, 增加了2頁紙的poster.值得一提的是, IJCAI是由貌似一個公司"IJCAI Inc."主辦的(當然實際上并不是公司, 實際上是個基金會), 每次會議上要 發幾個獎, 其中最重要的兩個是IJCAI Research Excellence Award 和 Computer& Thoughts Award, 前者是終身成就獎, 每次一個人, 基本上是AI的最高獎(有趣的是, 以AI為主業拿圖靈獎的6位中, 有2位還沒得到這個獎), 后者是獎給35歲以下的青年科學家, 每次一個人. 這兩個獎的獲獎演說是每次IJCAI的一個重頭戲.另外，IJCAI 的 PC member 相當于其他會議的area chair, 權力很大, 因為是由PC member 去找 reviewer 來審, 而不象一般會議的PC member其實就是 reviewer. 為了制約這種權力, IJCAI的審稿程序是每篇文章分配2位PC member, primary PC member去找3位reviewer, second PC member 找一位.?
AAAI (1): 美國人工智能學會AAAI的年會. 是一個很好的會議, 但其檔次不穩定, 可以給到1+, 也可以給到1-或者2+, 總的來說我給它"1". 這是因為它的開法完全受IJCAI制約: 每年開, 但如果這一年的IJCAI在北美舉行, 那么就停開. 所以, 偶數年里因為沒有IJCAI, 它就是最好的AI綜合性會議, 但因為號召力畢竟比IJCAI要小一些,特別是歐洲人捧AAAI場的比IJCAI少得多(其實亞洲人也是), 所以比IJCAI還是要稍弱一點, 基本上在1和1+之間; 在奇數年, 如果IJCAI不在北美, AAAI自然就變成了比IJCAI低一級的會議(1-或2+), 例如2005年既有IJCAI又有AAAI, 兩個會議就進行了協調, 使得IJCAI的錄用通知時間比AAAI的deadline早那么幾天, 這樣IJCAI落選的文章可以投往AAAI.在審稿時IJCAI 的 PC chair也在一直催, 說大家一定要快, 因為AAAI那邊一直在擔心IJCAI的錄用通知出晚了AAAI就麻煩了.?
COLT (1): 這是計算學習理論最好的會議, ACM主辦, 每年舉行. 計算學習理論基本上可以看成理論計算機科學和機器學習的交叉, 所以這個會被一些人看成是理論計算機科學的會而不是AI的會. 我一個朋友用一句話對它進行了精彩的刻畫: "一小群數學家在開會". 因為COLT的領域比較小, 所以每年會議基本上都是那些人. 這里順便提一件有趣的事, 因為最近國內搞的會議太多太濫, 而且很多會議都是LNCS/LNAI出論文集, LNCS/LNAI基本上已經被搞臭了, 但很不幸的是, LNCS/LNAI中有一些很好的會議, 例如COLT.?
CVPR (1): 計算機視覺和模式識別方面最好的會議之一, IEEE主辦, 每年舉行. 雖然題目上有計算機視覺, 但個人認為它的模式識別味道更重一些. 事實上它應該是模式識別最好的會議, 而在計算機視覺方面, 還有ICCV與之相當. IEEE一直有個傾向, 要把會辦成"盛會", 歷史上已經有些會被它從quality很好的會辦成"盛會"了. CVPR搞不好也要走這條路. 這幾年錄的文章已經不少了. 最近負責CVPR會議的TC的chair發信說, 對這個community來說, 讓好人被誤殺比被壞人漏網更糟糕, 所以我們是不是要減少好人被誤殺的機會啊? 所以我估計明年或者后年的CVPR就要擴招了.?
ICCV (1): 介紹CVPR的時候說過了, 計算機視覺方面最好的會之一. IEEE主辦.? ICCV逢奇數年開，開會地點以往是北美，歐洲和亞洲輪流，本來2003年定在北京，后來因Sars和原定05年的法國換了一下。ICCV'07年將首次在南美(巴西)舉行.
CVPR原則上每年在北美開, 如果那年正好ICCV在北美,則該年沒有CVPR.?
ICML (1): 機器學習方面最好的會議之一. 現在是IMLS主辦, 每年舉行. 參見關于NIPS的介紹.?
NIPS (1): 神經計算方面最好的會議之一, NIPS主辦, 每年舉行. 值得注意的是, 這個會每年的舉辦地都是一樣的, 以前是美國丹佛, 現在是加拿大溫哥華; 而且它是年底開會, 會開完后第2年才出論文集, 也就是說, NIPS'05的論文集是06年出. 會議的名字是"Advances in Neural Inxxxxation Processing Systems", 所以, 與ICMLECML這樣的"標準的"機器學習會議不同, NIPS里有相當一部分神經科學的內容, 和機器學習有一定的距離. 但由于會議的主體內容是機器學習, 或者說與機器學習關系緊密, 所以不少人把NIPS看成是機器學習方面最好的會議之一. 這個會議基本上控制在MichaelJordan的徒子徒孫手中, 所以對Jordan系的人來說, 發NIPS并不是難事, 一些未必很強的工作也能發上去, 但對這個圈子之外的人來說, 想發一篇實在很難, 因為留給"外人"的口子很小. 所以對Jordan系以外的人來說, 發NIPS的難度比ICML更大. 換句話說,ICML比較開放, 小圈子的影響不象NIPS那么大, 所以北美和歐洲人都認, 而NIPS則有些人(特別是一些歐洲人, 包括一些大家)堅決不投稿. 這對會議本身當然并不是好事,但因為Jordan系很強大, 所以它似乎也不太care. 最近IMLS(國際機器學習學會)改選理事, 有資格提名的人包括近三年在ICMLECMLCOLT發過文章的人, NIPS則被排除在外了. 無論如何, 這是一個非常好的會.?
ACL (1-): 計算語言學/自然語言處理方面最好的會議, ACL (Association of?
Computational Linguistics) 主辦, 每年開.?
KR (1-): 知識表示和推理方面最好的會議之一, 實際上也是傳統AI(即基于邏輯的AI)最好的會議之一. KR Inc.主辦, 現在是偶數年開.?
SIGIR (1-): 信息檢索方面最好的會議, ACM主辦, 每年開. 這個會現在小圈子氣越來越重. 信息檢索應該不算AI, 不過因為這里面用到機器學習越來越多, 最近幾年甚至有點機器學習應用會議的味道了, 所以把它也列進來.?
SIGKDD (1-): 數據挖掘方面最好的會議, ACM主辦, 每年開. 這個會議歷史比較短,畢竟, 與其他領域相比,數據挖掘還只是個小弟弟甚至小侄兒. 在幾年前還很難把它列在tier-1里面, 一方面是名聲遠不及其他的top conference響亮, 另一方面是相對容易被錄用. 但現在它被列在tier-1應該是毫無疑問的事情了. 這幾年來KDD的質量都很高. SIGKDD從2000年來full paper的錄取率都在10%-12%之間，遠遠低于IJCAI和ICML.?
經常聽人說，KDD要比IJICAI和ICML都要困難。IJICAI才6頁，而KDD要10頁。沒有扎實系統的工作，很難不留下漏洞。有不少IJICAI的常客也每年都投KDD，可難得幾個能經常中。?
UAI (1-): 名字叫"人工智能中的不確定性", 涉及表示推理學習等很多方面, AUAI(Association of UAI) 主辦, 每年開.?
我知道的幾個人工智能會議(二三流)
(原創為lilybbs.us上的daniel)
純屬個人看法, 僅供參考. tier-1的列得較全, tier-2的不太全, tier-3的很不全.?
同分的按字母序排列. 不很嚴謹地說, tier-1是可以令人羨慕的, tier-2是可以令人尊敬的,由于AI的相關會議非常多, 所以能列進tier-3的也是不錯的.?
tier 2: tier-2的會議列得不全, 我熟悉的領域比較全一些.?
AAMAS (2+): agent方面最好的會議. 但是現在agent已經是一個一般性的概念,
幾乎所有AI有關的會議上都有這方面的內容, 所以AAMAS下降的趨勢非常明顯.?
ECCV (2+): 計算機視覺方面僅次于ICCV的會議, 因為這個領域發展很快, 有可能升級到1-去.?
ECML (2+): 機器學習方面僅次于ICML的會議, 歐洲人極力捧場, 一些人認為它已經是1-了. 我保守一點, 仍然把它放在2+. 因為機器學習發展很快, 這個會議的reputation上升非常明顯.?
ICDM (2+): 數據挖掘方面僅次于SIGKDD的會議, 目前和SDM相當. 這個會只有5年歷史, 上升速度之快非常驚人. 幾年前ICDM還比不上PAKDD, 現在已經拉開很大距離了.?
SDM (2+): 數據挖掘方面僅次于SIGKDD的會議, 目前和ICDM相當. SIAM的底子很厚,但在CS里面的影響比ACM和IEEE還是要小, SDM眼看著要被ICDM超過了, 但至少目前還是相當的.?
ICAPS (2): 人工智能規劃方面最好的會議, 是由以前的國際和歐洲規劃會議合并來的. 因為這個領域逐漸變冷清, 影響比以前已經小了.?
ICCBR (2): Case-Based Reasoning方面最好的會議. 因為領域不太大, 而且一直半冷不熱, 所以總是停留在2上.?
COLLING (2): 計算語言學/自然語言處理方面僅次于ACL的會, 但與ACL的差距比ICCV-ECCV和ICML-ECML大得多.?
ECAI (2): 歐洲的人工智能綜合型會議, 歷史很久, 但因為有IJCAI/AAAI壓著,
很難往上升.?
ALT (2-): 有點象COLT的tier-2版, 但因為搞計算學習理論的人沒多少, 做得好的數來數去就那么些group, 基本上到COLT去了, 所以ALT里面有不少并非計算學習理論的內容.?
EMNLP (2-): 計算語言學/自然語言處理方面一個不錯的會. 有些人認為與COLLING相當, 但我覺得它還是要弱一點.?
ILP (2-): 歸納邏輯程序設計方面最好的會議. 但因為很多其他會議里都有ILP方面的內容, 所以它只能保住2-的位置了.?
PKDD (2-): 歐洲的數據挖掘會議, 目前在數據挖掘會議里面排第4. 歐洲人很想把它抬起來, 所以這些年一直和ECML一起捆綁著開, 希望能借ECML把它帶起來.但因為ICDM和SDM, 這已經不太可能了. 所以今年的PKDD和ECML雖然還是一起開, 但已經獨立審稿了(以前是可以同時投兩個會, 作者可以聲明優先被哪個會考慮, 如果ECML中不了還可以被PKDD接受).?
tier 3: 列得很不全. 另外, 因為AI的相關會議非常多, 所以能列在tier-3也算不錯了, 基本上能進到所有AI會議中的前30%吧?
ACCV (3+): 亞洲的計算機視覺會議, 在亞太級別的會議里算很好的了.?
DS (3+): 日本人發起的一個接近數據挖掘的會議.?
ECIR (3+): 歐洲的信息檢索會議, 前幾年還只是英國的信息檢索會議.?
ICTAI (3+): IEEE最主要的人工智能會議, 偏應用, 是被IEEE辦爛的一個典型. 以前的quality還是不錯的, 但是辦得越久聲譽反倒越差了, 糟糕的是似乎還在繼續下滑, 現在其實3+已經不太呆得住了.?
PAKDD (3+): 亞太數據挖掘會議, 目前在數據挖掘會議里排第5.?
ICANN (3+): 歐洲的神經網絡會議, 從quality來說是神經網絡會議中最好的, 但這個領域的人不重視會議,在該領域它的重要性不如IJCNN.?
AJCAI (3): 澳大利亞的綜合型人工智能會議, 在國家/地區級AI會議中算不錯的了.?
CAI (3): 加拿大的綜合型人工智能會議, 在國家/地區級AI會議中算不錯的了.?
CEC (3): 進化計算方面最重要的會議之一, 盛會型. IJCNN/CEC/FUZZ-IEEE這三個會議是計算智能或者說軟計算方面最重要的會議, 它們經常一起開, 這時就叫WCCI? (World Congress on Computational Intelligence). 但這個領域和CS其他分支不太一樣, 倒是和其他學科相似, 只重視journal, 不重視會議, 所以錄用率經常在85%左右, 所錄文章既有quality非常高的論文, 也有入門新手的習作.?
FUZZ-IEEE (3): 模糊方面最重要的會議, 盛會型, 參見CEC的介紹.?
GECCO (3): 進化計算方面最重要的會議之一, 與CEC相當，盛會型.?
ICASSP (3): 語音方面最重要的會議之一, 這個領域的人也不很care會議.?
ICIP (3): 圖像處理方面最著名的會議之一, 盛會型.?
ICPR (3): 模式識別方面最著名的會議之一, 盛會型.?
IEA/AIE (3): 人工智能應用會議. 一般的會議提名優秀論文的通常只有幾篇文章, 被提名就已經是很高的榮譽了, 這個會很有趣, 每次都搞1、20篇的優秀論文提名, 專門搞幾個session做被提名論文報告, 倒是很熱鬧.?
IJCNN (3): 神經網絡方面最重要的會議, 盛會型, 參見CEC的介紹.?
IJNLP (3): 計算語言學/自然語言處理方面比較著名的一個會議.?
PRICAI (3): 亞太綜合型人工智能會議, 雖然歷史不算短了, 但因為比它好或者相當的綜合型會議太多, 所以很難上升
==========機器學習推薦論文和書籍=================
基本模型:?HMM(Hidden Markov Models):?
A Tutorial on Hidden Markov Models and Selected Applications in?
Speech Recognition.pdf?
ME(Maximum Entropy):?
ME_to_NLP.pdf?
MEMM(Maximum Entropy Markov Models):?
memm.pdf?
CRF(Conditional Random Fields):?
An Introduction to Conditional Random Fields for Relational Learning.pdf?
Conditional Random Fields: Probabilistic Models for Segmenting and?
Labeling Sequence Data.pdf?
SVM(support vector machine):?
*張學工<<統計學習理論>>?
LSA(or LSI)(Latent Semantic Analysis):?
Latent semantic analysis.pdf?
pLSA(or pLSI)(Probablistic Latent Semantic Analysis):?
Probabilistic Latent Semantic Analysis.pdf?
LDA(Latent Dirichlet Allocation):?
Latent Dirichlet Allocaton.pdf(用variational theory + EM算法解模型)?
Parameter estimation for text analysis.pdf(using Gibbs Sampling 解模)?
Neural Networksi(including Hopfield Model& self-organizing maps &?
Stochastic networks & Boltzmann Machine etc.):?
Neural Networks - A Systematic Introduction?
Diffusion Networks:?
Diffusion Networks, Products of Experts, and Factor Analysis.pdf?
Markov random fields:?
Generalized Linear Model(including logistic regression etc.):?
An introduction to Generalized Linear Models 2nd?
Chinese Restraunt Model (Dirichlet Processes):?
Dirichlet Processes, Chinese Restaurant Processes and all that.pdf?
Estimating a Dirichlet Distribution.pdf?
=================================================================?
Some important algorithms:?
EM(Expectation Maximization):?
Expectation Maximization and Posterior Constraints.pdf?
Maximum Likelihood from Incomplete Data via the EM Algorithm.pdf?
MCMC(Markov Chain Monte Carlo) & Gibbs Sampling:?
Markov Chain Monte Carlo and Gibbs Sampling.pdf?
Explaining the Gibbs Sampler.pdf?
An introduction to MCMC for Machine Learning.pdf?
PageRank:?
矩陣分解算法:?
SVD, QR分解, Shur分解, LU分解, 譜分解?
Boosting( including Adaboost):?
*adaboost_talk.pdf?
Spectral Clustering:?
Tutorial on spectral clustering.pdf?
Energy-Based Learning:?
A tutorial on Energy-based learning.pdf?
Belief Propagation:?
Understanding Belief Propagation and its Generalizations.pdf?
bp.pdf?
Construction free energy approximation and generalized belief?
propagation algorithms.pdf?
Loopy Belief Propagation for Approximate Inference An Empirical Study.pdf?
Loopy Belief Propagation.pdf?
AP (affinity Propagation):?
L-BFGS:?
<<最優化理論與算法 2nd>> chapter 10?
On the limited memory BFGS method for large scale optimization.pdf?
IIS:?
IIS.pdf?
=================================================================?
理論部分：?
概率圖(probabilistic networks):?
An introduction to Variational Methods for Graphical Models.pdf?
Probabilistic Networks?
Factor Graphs and the Sum-Product Algorithm.pdf?
Constructing Free Energy Approximations and Generalized Belief?
Propagation Algorithms.pdf?
*Graphical Models, exponential families, and variational inference.pdf?
Variational Theory(變分理論，我們只用概率圖上的變分):?
Tutorial on varational approximation methods.pdf?
A variational Bayesian framework for graphical models.pdf?
variational tutorial.pdf?
Information Theory:?
Elements of Information Theory 2nd.pdf?
測度論：?
測度論(Halmos).pdf?
測度論講義(嚴加安).pdf?
概率論:?
......?
<<概率與測度論>>?
隨機過程:?
應用隨機過程 林元烈 2002.pdf?
<<隨機數學引論>>?
Matrix Theory:?
矩陣分析與應用.pdf?
模式識別：?
<<模式識別 2nd>> 邊肇祺?
*Pattern Recognition and Machine Learning.pdf?
最優化理論:?
<>?
<<最優化理論與算法>>?
泛函分析：?
<<泛函分析導論及應用>>?
Kernel理論：?
<<模式分析的核方法>>?
統計學:?
......?
<<統計手冊>>?
==========================================================?
綜合:?
semi-supervised learning:?
<> MIT Press?
semi-supervised learning based on Graph.pdf?
Co-training:?
Self-training:
總結
- 上一篇： 番茄小说如何赚钱
- 下一篇： Computer Vision的尴尬