無導師、無同伴、無資金援助，在這樣的條件下「為發頂會 Paper 而戰」是一種怎樣的體驗？

機器學習領域的獨立研究者 Andreas Madsen 用7個月的時間成就一篇 ICLR Spotlight 論文，為黑暗中默默探索的獨立研究者們帶來希望！當然，他本身也是一名技術達人，機會從來只留給有準備的人！

而值得一提的是，驅動Andreas Madsen 嘗試發頂會論文的原因，則是他在申請博士入學資格過程中四處碰壁的經歷。

一個擁有機器學習碩士學位、豐富的機器學習開發經驗，同時也發表過一些重要論文的研究者竟然只因沒有發過頂會論文，而被一眾教授拒之門外？

這一現象在他看來，其實更像是學術界的一種「新精英主義」，最終會放大已經對這一行業產生了挑戰的固有偏見。

對此，他最后呼吁：學術應該有清流，不應唯論文論！

以下為他親自撰寫的經驗分享：

2019年4 月，為了在重要的學術會議上發表論文，我下定決心成為了一名獨立研究者。終于，在 2019 年 12 月，經歷了漫長的七八個月沒有資助的研究工作，我成功了！我的論文被 ICLR 接收了，更令人欣慰的是：這篇論文被接收為Spotlight論文！

在我將這篇論文發布在 Twitter 平臺上后，它迅速地傳播開來，為像我一樣的研究者帶來了希望。因此，我迄今為止收到了近 100 條私信，他們都在征詢我的意見，想知道如何作為一名獨立研究者發表論文。

在本文中，我會向大家提出一些這方面的建議。但是，更重要的是，我想談談為什么我選擇成為一名獨立研究者。要知道，在沒有任何資金支持的情況下工作 7 個月并非兒戲，這種做法值得大家慎重考慮！

圖 1：是的！我的第一篇頂會論文本ICLR接收為spotlight了！我們將DeepMind的論文「NALU」中的性能提升了 3-20倍。我在沒有任何資助的情況下，作為獨立研究者，花了 7-8個月完成了這份工作。

• 論文地址：https://openreview.net/forum?id=H1gNOeHKPS。

• 代碼地址：https://github.com/AndreasMadsen/stable-nalu

我為什么選擇成為一名獨立研究者

2018 年 3 月，我在「distill.pub」平臺上作為唯一作者發表了論文「Visualizing memorization in RNNs」，說明了針對自然語言處理任務，如何通過一種交互式的顯著性可視化技術，證明兩個準確率幾乎一樣的模型具有差異極大的表現。

• 論文地址：https://distill.pub/2019/memorization-in-rnns

圖 2：在Distill上發表的第一篇論文「Visualizing memorization in RNNs」

曾經，我認為憑借上面提到的這篇論文和我的機器學習碩士學位，就足以申請到博士入學資格，或者是研究型軟件工程師、實習項目或者機器學習工程師的職位了。所以我就開始向許多教授發博士申請信，同時向谷歌、微軟、Rakuten、ElementAI、英偉達、Hypefactors、英特爾、京東、亞馬遜、三星、Shift Technology、Corti 等公司求職。

然而最終，我竟然連一個面試機會都沒得到！

在應聘谷歌的研究型軟件工程師時，甚至有一名谷歌的高級研究員找到我，他鼓勵我申請他們部門的職位，并正式推薦了我。為保險起見，我還請求了另一名谷歌的高級軟件工程師內推我，他曾經與我在開源的Node.js 項目上有過很多合作。

盡管如此，我還是沒有得到面試機會，也沒有 HR 聯系我，了無音訊！

現實情況是：「一兩篇機器學習頂會頂刊論文是十分重要的」

在申請期間，我收到了一位教授的回信：

非常感謝你的郵件，內容非常有趣。一般來說，現在想要申博士學位，沒有一兩篇頂會頂刊上的機器學習/NLP 論文是相當困難的。你在 Distill上發表的論文和你在工業領域的經驗在一定程度上彌補了這一點。不幸的是，我現在沒有可供申請的空缺名額。——來自 QS 全球排名 Top 100 的大學的一名教授。

我的一位朋友（認識另一所大學的前委員會成員），則收到了下面的回信：

最好的人工智能博士項目要求申請者已經在頂會上發表過論文。如果你并沒有在ACL/EMNLP/CVPR/ICCV/NeurIPS或 ICML 上發表過論文，你被錄取的幾率就非常小了。——某 QS 全球排名 Top 5 大學的前委員會成員。

當然，我也收到了一些其它的郵件（大多數人并沒有回復我），那些教授說得沒有這么直白，但是對我的申請也完全不感興趣。

我想，他們實際上也要求申請者擁有一兩篇頂會論文，但并不想直接承認這一點，因為這種糟糕的標準只對那些非常幸運的學生們有利。——我碩士期間就讀的大學并沒有鼓勵我們去發表論文。但是丹麥同樣也是一個讀碩士的好地方。

所以，想要在沒有內推的情況下申請到博士學位，你本身就需要擁有可以拿到半個博士學位的成果。

這就是事實！為了實現我自 2011 年以來的夢想，我需要發表 1-2 篇頂會論文。于是，在 2019 年 4 月，我決定全身心投入到科研工作直到 2020 年 1月，力爭在 NeurIPS 或者 ICLR 上發表論文。如果最終還是沒有成功，那我就會去做一名 JavaScript 程序員。

如何為自己提供資金支持？

我如何才能找到自己的研究思路？怎樣才能為我自己提供資金支持？這是我到目前為止被問最多的問題。然而，雖然這些問題確實有待解決，但我覺得它們其實沒有那么重要。

實際上，有很多方法可以發掘研究思路；如果你不用負擔別人的開支，有很多辦法可以自己省錢。你可以進入一種「孤獨地生活，但不放棄理智和希望」的狀態，這并不會讓你感到十分難受。

在 2017 年 9 月至 2018 年 10 月期間，我一直都是一名自由職業者。在我剛開始成為獨立研究者時，我的朋友 Emil Bay 向NearForm 推薦了我，他們想做一個名為「clinic.js」的新項目。該項目不僅需要工程師對Node.js 的內部實現有詳細的了解，還要求具備統計學背景和網頁可視化技術。

這個項目簡直就是為我量身定制的！此前，我做過大量的可視化工作，參與了與Node.js 內部實現相關的工作長達 6 年的時間，并且剛剛取得了機器學習碩士學位。所以，我在這個項目中獲得了豐厚的報酬。如果我能將自己的開支消費控制在非常低水平，這份報酬足以支持我進行 3 到 4 年的研究。

可以說在資金方面，我非常幸運。但是，丹麥是一個消費水平很高的國家，或許在另外的國家資助自己完成研究會更加容易。

2019 年，他們也曾邀請我為其在 NodeConf EU 2019 上推出的物聯網智能手表/胸牌開發 TensorFlow 組件。雖然這筆收入不足以支撐我全年的所有開支，但也對我幫助很大。

圖 3：本文作者開發的智能手表設備

好的研究思路從何而來？

正如我所說，可以有很多種方法發掘研究思路，所以不要太在意我的說法，要充分發揮你自己的創造性。

2019 年 2 月，我回到母校參加了一個人工智能學生社團的開幕式活動，希望與之前的導師談談申請博士的事情。但遺憾的是，他也無法為我提供任何的入學機會。

然而，我卻遇到了 Alexander R Johansen，他是一位助理研究員，想要尋找合作伙伴。2019 年 3 月下旬，我寫信給他，他告訴我他的幾名學生嘗試復現 DeepMind 的論文「NALU」，但都以失敗告終。所以，他問我是否愿意對此進行研究，也許我們可以由此寫出一篇 NeurIPS 論文。

我的碩士學位論文和在 Distill 上發表的論文都是對其他人夸大或具有誤導性的作品進行批判性思考，然后改進這些工作。而且這項研究的難點在于優化，而我對此卻很擅長。所以，我覺得自己可以勝任這項任務。

幾乎所有發表的論文都會對其性能進行夸大，所以改進他人的工作是一種可行的研究策略。

我的建議就是如此。這并不是一種非常具有啟發意義的尋找研究思路的策略，在這個過程中你也會遇到一些重大的挑戰，但的確是一種可行的策略。

下面，我們來看看什么是最重要的！

研究之路再孤獨，也不要失去理智和希望

作為一名獨立研究者，你可能很難獲得來自任何人的鼓勵。當然，我也知道，許多博士生導師也不會鼓勵他們自己的學生，但這些學生可以從處于類似困境中的同門那里尋求鼓勵。而一名獨立研究者想要得到這樣的鼓勵幾乎是不可能的，這也是我建議大家不要成為獨立研究者的首要原因。

作為論文的第一作者，在寫論文的過程中，背后沒有與你感同身受的人支持你是很難熬的。這是我建議大家不要成為獨立研究者的首要原因。

每個人都多多少少需要一些鼓勵。不要以為在沒有任何鼓勵的情況下，你自己也能撐過 7 個月。我一直在擔心出現下面的情況：找不到解決方案、遭遇不公正的同行評審、得不出有用的實驗結果、發現工作中存在某些重要缺陷、甚至擔心即便論文發表了也會因為課題過于小眾而沒有影響力。

同時，自籌 7 個月的研究經費也是有很大風險的。如果最終論文沒有發表，我的損失就會很大。作為一名獨立研究者，我被錄取的機會是低于平均水平的，這是因為我得到的反饋更少。

圖 4：作為一名獨立研究者發表論文，很可能是我做不到的事，我也想過會失敗，但無論如何，我都會盡力做到最好。

然而，盡管可能沒有與你感同身受的人支持你，但你也可以通過其它方法解決這個問題。我是這么做的：

1.我通常每周會與 Alexander 就研究思路進行討論。雖然 Alexander 本人并沒有獲得博士學位，但他具有非常棒的批判性思維。我并不認為必須和那些有很多一作論文、或者有多年論文指導經驗的人交流。重要的是，我們需要和那些能針對我們的研究工作提出問題的人交流。不然的話，我們可能會變得懶惰，對自己論文中存在的錯誤視而不見。請盡量與別人討論你的論文，這會給你增加很大的壓力，讓你不會寄希望于投機取巧。

2.在主要的研究之外，我也進行了一些附帶的項目。把所有時間都分配給同一份工作的風險太大。不妨花時間做一些你認為有用的小項目。寫個開源工具、復現一篇知名論文都可以。從研究中抽身出來，放松一下也是非常有必要的。這樣一來，即使研究項目失敗了，但至少完成了某些小項目。對我來說，能夠讓這些附帶的項目被知名研究者們認可也是一種莫大的鼓勵。

圖 5：三天完成的附帶項目示例，用到這個項目的研究者會十分感謝你，從中你可以感受到鼓勵。（推特大意：很高興在此發布「pip install Ircurve」。它可以被用于繪制實時的學習曲線，而不像TensorBoard那樣繁瑣。它包含一個Keras幫助文件和模型無關的接口。

如何寫一篇好論文？

在所有提交的論文中，大約只有 20% 會被接收，你的同行審稿人會尋找各種理由拒掉你的文章。你認為文章已經「足夠好」是遠遠不夠的，你需要讓自己的論文被人贊嘆道「great」！

然而，（對于獨立研究者來說）你并沒有任何導師能幫你，此前你也沒有發表過論文，那么怎樣才能寫一篇令人嘆為觀止的論文呢？

就我而言，我的第一份論文放到了 distill.pub 期刊上。回想起來，我那時太幸運了——Distill 特別關心論文的寫作質量。因為與通過同行審稿人（他們自己可能并不精通寫作）的評審相比，Distill 更加強調論文能解釋清楚并教育他人。對于我來說，寫一篇用于解釋和教育的文章，要比寫一篇取悅同行評審的文章容易得多。

然而，我第一次向 Distill 投稿的時候遭到了編輯的拒稿！他們不清楚我的工作有何貢獻。它到底是對 Nested LSTM 的批判，還是提出了一項新的 NLP 任務「自動補全」，或者它是一種交互式的可視化技術？

一篇論文中可能有一到兩條重要的信息，如果它們被誤解了，那么就會讓讀者感到非常困惑，從而被拒稿。所以，不要害怕反復強調某些重要信息，從而避免這些問題。

在我的 Distill 論文中，上面提到的這樣的信息是：「可視化可以幫助人們理解模型，而準確率卻并不能。然而，你需要使用一個任何人都能有直觀感受的問題來體現這一點，顯然，中文詩歌生成并不是這樣的問題」。

在我的ICLR 的論文中，這樣的信息是：「異構單元之間的門控比它看上去要困難得多，但在解決門控的問題之前還有其他問題需要解決，所以我們會在未來的研究里解決門控的問題」。

僅僅這樣寫還不夠，你還需要在整篇文章中反復表達這個觀點，讓即使最懶的審稿人也能看到它。

我對論文進行了重大修改，將修改稿再一次提交給了 Distill。這次，他們更加開放一些。Distill 上的 Chris Olah 和 Ludwig Schubert 在論文進入同行評審環節之前為我給出了非常有用的反饋。

如果沒有從他們那里得到的經驗，我不確定我是否還能被ICLR接收。大家可以讀一下小說家 McCarthy 關于如何寫科學類文章的技巧，里面涵蓋了我學到的大部分經驗。

• 文章閱讀地址：https://www.nature.com/articles/d41586-019-02918-5

最后，我想告訴大家，我和 Alexander 一起花了很長時間對這篇論文進行潤色，尤其是在摘要和引言部分，他的幫助非常有價值。

慘遭 NeurIPS 拒稿

我們將論文提交給了 NeurIPS 2019，但慘遭拒稿。當時我內心十分煎熬。畢竟，我付出了那么多的時間卻一無所獲。我感覺自己的夢碎了，我再也沒有機會追求自己的夢想，不能從事我熱愛的機器學習研究了。

讓自己的命運掌握在匿名的同行審稿人手中是一件很奇怪的事。

圖 6：我收到 NeurIPS 2019 審稿意見的感想。

那么為什么我們會被拒稿呢？我總結的經驗教訓是：

• 一些審稿人不相信我們成功地復現了 NALU 的結果（那篇我們進行了改進的論文）。很多審稿人都會問：「為什么原始論文中的結果比你們給出的結果要好很多」？

• 一些審稿人要求我們在提交的論文中做到 NALU 論文聲稱可以做到的所有事情（即使我們已經提供了明確的證據來說明 NALU 模型并沒有將這些事情做到令人滿意的程度）。如果你看過這篇論文，我們沒有解決的是除法，以及加法和乘法之間的門控。盡管如此，我們也對其它方面進行了改進。

其實，第二點也可以歸結為一些審稿人不相信我們的實驗結果和復現。這就是我們在改進別人夸大的實驗結果時可能遇到的難題。

審稿人更偏向支持已經發布的研究成果。與批判之前發表過的論文相比（尤其是當這些論文出自 DeepMind 之手），他們更容易對你新提交的論文持批判性態度。

我想澄清的是，DeepMind 在論文「NALU」最后給出的結果并不是假的，它們是可以復現的。但這樣的結果對于「外推任務」來說，卻并非以最合適的方式去構建的，該任務是主要的目標，它使模型能夠比第一次和第二次通讀的時候看起來更好（你需要更加仔細地閱讀實驗結果）。而且，NALU 這篇論文只展示了具有單個種子（seed）的結果，而我們的論文展示的是具有100 個種子時的結果。關于個話題我們發表了一篇 workshop 論文「Measuring Arithmetic Extrapolation Performance」（論文地址：https://arxiv.org/abs/1910.01888）。

這次提交給 ICLR 的論文有什么不同的地方？

在對NeurIPS 2019 的審稿意見進行反駁之前，我們已經對論文進行了一些改進。在提交給ICLR 的版本中，我們補充了更多的證據和實驗去支持我們的觀點。

我們做了一件非常明智的事！我們把自己完成的NALU 的實驗設置和復現結果發表在NeurlIPS 2019 的 SEDL 研討會上。我們還將這項工作寫在了推特上，發布了 NALU 一作的標簽，他回復道：「很棒的工作！有了好的對比基準，我們才能繼續改進模型」。這對我們來說很有幫助，我們不必再為實驗設置和我們的新模型而爭論了。相反，我們可以專注于我們提出的模型。

圖 7：要在神經網絡上實現數學上的外推十分困難。我們提出了一種新的對比基準，并發現NALU十分脆弱。那么我們如何構建可以學習算術方法的神經網絡呢？僅僅使用更多的數據并不能做到這一點。

我其實很希望我能告訴你，我們的改進起了很大作用，但事實是，我覺得我們只是比較走運，遇到了一位超棒的審稿人。由于評論是公開的，他在 OpenReview 上對我們工作的評論引起了更廣泛的討論、更深入的批判性思考以及更少的謾罵性評論。

值得一提的是，我們收到了四份審稿意見，我認為，這意味著我們的領域主席對此非常感興趣。其中一位評審在 NeurIPS 上也審閱過我們的論文（可能是那時的reviewer #3），同時他在 NeurIPS 上給出的審稿意見也是最具建設性的。

在我們做出這一系列的修改后，這位審稿人的意見從 NeurIPS 的弱拒改為了 ICLR 的弱接收，在 ICLR 的終審意見中又改成了接收，他甚至還對其他審稿人的意見評論道，「這篇文章中體現的貢獻進步巨大」。

這審稿人的意見如下：

我理解其它審稿人所關心的問題，本文給出的模型是在其它模型上進行增量式修改得到的。但我并不認為本文的優點僅僅在于模型本身，而是在于全文中體現的而理論和實驗分析，從而提升了模型的性能，而且本文的代碼也公開了。

這篇文章可讀性很強，它嘗試針對最近提出的模型做一些工作，它指出了他人提出的模型的缺陷，并給出了詳細的分析過程，然后改進了該模型以及對比基準。本文直面了原模型的復現問題，并對其進行了大幅度的改進。這就是為什么我認為這篇論文一定要被接受的原因。

我不確定這里提出的模型是否會在該領域引起巨大的改變，但是這種方法可能會影響并啟發其他研究者做出更加透徹的分析。

因此，我將對這篇論文的評分提升到「接收」。

這條審稿意見讓我十分開心。那時，我們的論文還有兩個弱拒，所以仍然存在被拒稿的可能性。但即使被拒絕，我至少也會覺得我并沒有失敗，而是審稿程序有缺陷。

這一切努力值得嗎？

最終，我們的論文被ICLR 接收。我希望我能肯定地說，這篇文章能幫助我找到一份研究工作，但說實話，我并不知道未來會如何。我剛剛看到一封郵件，上面說我需要「2 篇頂會論文（最好是和著名研究者合作），才能被頂級的博士項目錄取」，但作為一名獨立研究者，這一點我是做不到的。希望只是這所大學有這種要求。

圖 9：機器學習研究之路是漫長的。然而，如果你不敢邁出第一步，一切都會看起來不可能。如果你真的想去做，那就付諸努力去尋找其他方法。

Q&A

前文并沒有回答我收到的所有問題，我認為現在的內容還不足夠吸引人。所以我在下面針對其它重要問題一一作出解答：

Q：你這些漂亮的圖是怎么繪制的？

A：我所有的圖都是用 R 語言的ggplot2 庫繪制的，這個代碼庫給了我很大幫助。我并沒有用 R 語言做其它事情，我只是將 CSV 文件從 Python 中導出，將其導入到 R 中，然后使用 R 計算置信區間并畫圖。

Q：你的工作沒有什么用，你就是個笑話。

A：謝謝你，你有想過成為一名審稿人嗎？

Q：你花了多長時間？

A：我每周在這篇論文上大約花 48 個小時，有時候達到 100 個小時。但請記住，我也在做一些附帶的項目和自由工作。

Q：你的計算資源是從哪里得到的？

A：Alexander 可以為我們提供計算資源，因為他是一名助理研究員。

Q：我的導師要給我一個讀博的機會，我是否應該接受？

A：如果你真的想做研究，也許你應該接受。現在競爭很激烈，我認為你應該抓住你能得到的機會。

Q：我現在正在實習，但我感覺什么都學不到，因為我的導師不太負責。

A：你要為自己的信念負責，不要指望你的導師主動來找你。你要慶幸你能得到實習機會，我之前沒有得到。可以開始安排與導師的交流，但也要記住，除了導師，你還可以向別人請教。

Q：我是正在讀碩士，要怎么為發論文做準備？

A：如果你能找到一位對此持開放態度的導師，那么你可以嘗試發表論文。同時，要嘗試在學習期間尋找實習工作。大多數實習工作只對學生開放。我曾經得到過實習機會但卻去不了，因為我已經畢業了。

Q：我要如何提升自己的編程能力？

A：我多年來堅持寫開源代碼，這讓我有機會受到一些卓越的程序員的指導。

Q：要發一篇 Spotlight 還需要什么？

A：說實話，我想最需要的還是運氣。

Q：我看到一些人拿到碩士學位就成為了谷歌的研究員，他們是怎么做到的？

A：確實是這樣，這種現象的黃金時期是 2013 年到 2015 年。如果當時你拿到了碩士學位并且足夠幸運，你就可以走得很遠。

結語

最后，我想再重申一下給其他獨立研究者的主要建議。

1.與他人合作。這個人不一定必須是論文寫作方面的專家，只要是能對你的工作提出建設性評論的人就行。因此，在大學里找到一個擁有計算資源的人幫助你，可能是很有必要的。

2.做最壞的打算，盡最大的努力。只有 20% 的論文會被接收。作為一名獨立研究者，你被接收的概率可能還要低于平均水平。不要在被拒絕一次后就氣餒！你也可以進行一些附帶的項目，這樣的話，即使你失敗了，也不會覺得自己完全是在浪費時間。

3.避免成為獨立研究者。如果有更好的選擇，你就不應該有什么理由成為獨立研究者。也許你的碩士生導師對你不上心，但至少你可以和其他博士生交流。如果你成為獨立研究者，就失去了非常重要的支持你的人際網絡。

圖 10：成為一個獨立研究者是極其艱難、孤獨的。然而，如果你足夠幸運，也可能在轉角處發現希望。

學術應該有清流，不應唯論文論！

最后，由于我們有一篇論文被相關研討會接收了，我確實也參加了 NeurIPS 2019。在會上，我有幸與幾位招聘人員、教授、研究者交談。我感到極為震驚：招聘者的需求、研究人員的意愿和教授所能提供的條件之間存在著巨大的差距。

我想讓研究者們知道的是，在過去的兩年里，這個學術領域中的供需關系發生了翻天覆地的變化。如今，得到一個讀博機會似乎比完成博士學業還要難。

如果你在 2017 年或更早之前拿到了碩士學位，那么被好的博士項目錄取還是可以實現的目標。

但如今，你需要在（NeurIPS/ICLR/ICML）等頂會上發表 1-2 篇論文（而且最好是與著名研究者合作）才能夠滿足入學要求。

我希望研究者、教授、委員會成員以及會議組織者都能夠幫助遏制這種迅速蔓延的新精英主義。它只會放大已經對這一行業產生挑戰的固有偏見。

Viahttps://medium.com/@andreas_madsen/becoming-an-independent-researcher-and-getting-published-in-iclr-with-spotlight-c93ef0b39b8b

總結

以上是生活随笔為你收集整理的顶会论文，怎么就成了申博的必要条件？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。