文 | 蔣寶尚
源 | AI科技評論

在AI圈里有這么一個人，雖然大學沒有畢業，但卻做過谷歌大腦研究員，擔任過OpenAI團隊的領導人。他被人稱作“怪胎”，也被人稱作神童。

他的名字叫做Chris Olah。在眾人眼里，他的成長樹在一開始似乎長“歪”：18歲那一年，進入多倫多大學讀本科，隨后輟學開始研究計算機。他運氣不錯，在剛剛開始進行AI研究的時候，他就得到了知名學者、量子物理學家 Michael Nielsen 的指導。

2013 年，圖靈獎得主 Yoshua Bengio 曾邀請他去做自己的研究生，但Chris居然拒絕了Bengio的邀請，去谷歌大腦團隊做了實習生，跟隨Jeff Dean研究卷積神經網絡、交互媒體相關的內容。

仍然是運氣不錯。2015年，在 Greg Corrado 的幫助下，他轉為了谷歌的正式員工。在谷歌的那段日子，發過多篇論文，帶過博士生，并和賈揚清、Ian Goodfellow等頂尖研究員一起合作過。

根據谷歌學術，其h指數甚至達到了19，總引用數達到了32616，遠超擁有博士學位的研究者。其中，最高引用的一篇文章，TensorFlow: Large-scale machine learning on heterogeneous systems”，是他在谷歌大腦和40多作者，包括Jeffrey Dean、 Ian Goodfellow等知名學者合寫的關于tensorflow詳細介紹。

Chris Olah 在最近的一篇博客中介紹了自己對于“如何提升研究品味”的看法以及背后的一些決策思考，以下為博客內容整理。

如何提升研究品味

要成為一名研究人員，最重要的一個能力就是培養研究品味（審美），因為，品味背后代表著能夠選擇一個好的研究問題。培養品味很難，下面我在分享一些可操作的訓練方法。

在說明具體方法之前，有必要思考一下為什么培養研究品味如此之難。最核心的問題是：驗證研究想法是否有價值的成本非常高昂。直觀體現在時間成本上，通常情況下，驗證想法需要耗費幾個月的時間，這意味著，每年只能得到有限的幾條關于審美的反饋。下面介紹的練習方法，將教你如何快速獲反饋。

值得一提的是，不建議強迫自己去做不感興趣的事情，即理智上認為它很重要。其實，最重要的問題應該是能讓你感到極度興奮。

練習方式

練習1:列出研究想法的清單。找一位導師，讓他給每個想法打分。然后和他討論你不同意的觀點。

相比通常需要幾個月才能驗證研究想法。請教導師是極具性價比的方式。

練習2:當別人嘗試你的研究想法時，將他的結果和你的預期相比。

當和別人頭腦風暴時，你可能投入大量的時間精力，但同時你也可能擁有數十個研究想法。如果別人實現了你的想法，并發表了論文。那么，你可能會感到不舒服，但記住這是一個免費獲得寶貴反饋的機會。

練習3:采訪你周圍的研究人員，了解他們的審美。弄明白他們為什么要努力解決他們所面臨的問題?他們是如何挑選問題的?他們研究的“藍圖”是什么?

額外好處：如果感覺采訪很棒，可以考慮獲得允許后，把這些東西寫下來。

另外，大多數博士生經常會和訪問他們實驗室的研究人員開一些簡短的會議。目的之一是向來訪者“推銷”他們的項目，如果他們沒有類似的興趣，便可能沒有什么成效。

練習4：閱讀有關科學史的書籍。反思為什么一些研究者把注意力集中在被他們同時代人所忽略的重要方向上。

注：庫恩的《科學革命的結構》(The Structure of Scientific Revolutions)是我最喜歡的書之一。

練習5:批判性地思考你的研究審美，以及你周圍的社群審美。你的審美很可能會受到你的研究集群(合作者、顧問等)的影響。

思考的一些方向可以有：在過去幾年里，你自己的研究或你所在的社群的看法在哪些方面是錯誤的?

是否有相鄰的研究“流派”具有明顯不同的研究審美?如果是這樣，試著說出他們"最強烈"的觀點，以及你同意或不同意的原因。

你在哪些方面不同意你自己社群的研究審美?你認為你的社群在哪些方面可能是錯誤的?

你的研究目標是什么?是為了尋找研究的樂趣？想讓世界變得更美好？你正在處理的問題是否與這些目標有關系?

失敗模式

列舉一些失敗的研究審美的模式：

失敗模式1：過于依賴一個研究方向或者陷入沉沒成本。

許多研究人員開始研究一個問題(通常是由于環境而不是預期的決定)，然后發現很難繼續下去。

可能的解決辦法：留出一到兩周的時間，后退一步，列出你認為最有前途的其他研究方向，可以看看新的研究，與他人交流，等等。然后問一下如果你從頭開始，你想做什么。根據需要每1-2年重復一次。

失敗模式2:缺乏背景知識或者親密感。

理論知識是研究品味形成的重要因素，因為你的研究品味不可能憑空得來。

有時，人們陷入了一個陷阱，試圖在動手之前就選擇一個完美的問題或有一個卓越的見解。然而你的研究審美不可能憑空的來，因此你需要理論知識和研究親密感。

可能的解決辦法：在你感興趣的領域幫助別人完成他們的項目。你會發現，在這過程中會學到很多東西，并且不用過度投入到長期的工作中。理想情況下，如果不擔任項目的“頭頭”，或者做短期項目，能夠讓你比較輕松，也可以幫助保持你的研究感覺和研究熱度。

失敗模式3：環境與你的興趣不一致。

我有時會和一些博士生交談，這些博士生和他們的導師有不同的興趣，他們試圖把自己的研究興趣扭曲成他們導師喜歡的東西。這通常會形成一些為了折衷而不是為了質量而進行優化的想法。如此一來，會導致不甚理想的研究，也會讓你失去建立研究審美的機會。

即使你周圍的人名義上支持你從事任何你感興趣的工作，上述情況也會發生。而當你周圍的人都缺乏熱情的時候，要追求一個方向是很有挑戰性的。

可能的解決辦法:要么“搬家”到一個與你的興趣相一致的環境，要么暫時融入你的社群，并嘗試在這些興趣范圍內鍛煉良好的研究品味。我通常認為，一旦你對自己感興趣的東西進行了大量反思，并擁有了自己感到非常興奮的東西，你就可以跳到另一個環境中去。

其他人的建議

在twitter上的討論中，很多人提出了其他的想法。請注意，所有這些都是“構建品味的練習”。

? 雷切爾?普魯登建議

想象另一個小組發表了你腦海中的論文。你會對讀到它而感到興奮嗎?

Chris評論:我認為這是一個很好的啟發式。

? Andy Matuschak建議

就你的觀點提出反漢明（anti-Hamming)的問題。在你的領域里最有趣(但不重要)的問題是什么？你為什么不去做呢？

Chris評論:這是個很好的問題。參見漢明著名的“你和你的研究”演講。

? 安迪也分享了一個失敗模式：

試著讓一個想法在看起來容易處理的時候去做。有一個令人興奮而可行的方法是——讓我想去做它！如果有一個想法，我長時間思考它，通常可以進化出更深層次的變體，并將其付諸實踐。

? 邁克爾·尼爾森(Michael Nielsen)的《有效研究原則》(Principles of Effective research)指出了關注混亂領域的價值:

當你發現“混亂”時，很多人第一反應是回避，去尋找更容易理解的東西。但一個混亂的領域其實是一個機遇。很有可能會有一些深入的統一和簡化的概念仍然等待著某人——也許是你——的理解和發展。

? 亞索·奧爾希爾（Arthur Allshire）

你所在領域的瓶頸問題是什么?如在許多強化學習的研究中，很多關注的是對算法的細微調整，但最大的改進來自于對RL的模擬的改進。

? Preetum Nakkiran

我發現寫短期的“項目建議書”和長期的“研究陳述或計劃”是思考動機和目標(在不同的時間尺度)的很好的練習。所謂的“項目提案”是指:一旦你決定花超過1個月的時間在什么問題上，那么不妨寫下幾頁文字來告訴自己：為什么這個問題是有趣的，為什么這個答案是有價值的，以及你希望找到什么(比如初始證據)，然后得到反饋。

…另外，建議你向你遇到的每個人詢問他們的“大藍圖”研究目標。因為這非常有趣和重要，但一般不會出現在論文上。

? Christian Szegedy

事后看來，我在研究中所犯的大多數錯誤都是因為我聽取了我尊敬的導師的批評，而我所做的大部分很酷的東西，最初都被大家認為是無用的、無趣的，或“祝你好運！”。一般來說，研究中的想法要么領先于其他想法，要么挑戰傳統智慧。加入后一種陣營需要較少的技巧，但需要更多的勇氣。

Chris評論：我認為很有道理，但是要注意幸存者偏差，記住不同的人在他們職業生涯的不同階段可能有不同的科學成熟度或審美。我猜想，許多博士生會發現，從一開始就制定自己的研究議程是非常具有挑戰性的，因為成長或許會讓他們改變想法。

? Sergey Gorbunov

關于研究品味，我對研究生或初級研究員的唯一建議是“不要”聽你的導師或知名研究員的話……因為研究生院是唯一一個讓你有機會嘗試和失敗的地方。研究生應該想出非常規的問題或者解決方案。(因為已建立的研究有自己的流程和思考方式????)。同樣，建議也可以用來推翻自己。

? Boaz Barak

我喜歡“20/80項目”，即你做了80%的工作卻實現了20%的目標：而不是問“我用最小的努力能得到的最好的結果是什么?”或者“我能否找到足以概括出主要障礙的問題，即使最終結果聽起來并不怎么樣?”

后臺回復關鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺回復關鍵詞【頂會】

獲取ACL、CIKM等各大頂會論文集！

?

[1] https://colah.github.io/notes/taste/

總結

以上是生活随笔為你收集整理的我，大学没毕业，在OpenAI搞AI，想教教你如何提升“研究品味”的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。