作者 |?王赟

下周一我就要開始在 Facebook 上班了。趁入職之前，我想寫一寫我博士生涯的感悟；再不寫就要涼啦。

　　

從 2010 年 8 月到 2018 年 10 月，我把我最好的青春年華都獻(xiàn)給了卡內(nèi)基梅隆大學(xué)（CMU）的語言技術(shù)研究所（LTI）。其中前兩年是碩士，但由于 LTI 的碩士生活跟博士并沒有太大區(qū)別，都要做研究，所以說是八年博士也并不過分吧。單從長度就能看出，我的博士生涯并不是一帆風(fēng)順的；之所以讀了這么久，主要原因是換了兩次研究項(xiàng)目。這三個研究項(xiàng)目，各自給了我不同的體驗(yàn)和感悟。

　　

從入學(xué)到 2012 年春天，我跟隨金琴教授研究說話人識別。在這將近兩年的時間里，我用 Matlab 語言親自實(shí)現(xiàn)了十幾種語音特征的提取，以及基于 GMM、GMM-UBM、SVM、JFA 等技術(shù)的多種說話人識別系統(tǒng)。然而，我在這段時間里的研究進(jìn)展十分緩慢，最終并沒有追上當(dāng)時的前沿；我的研究結(jié)果也并沒能寫成論文發(fā)表出來，而只是形成了一篇技術(shù)報(bào)告。這里面的原因，大概是因?yàn)槲疫€沒能從「學(xué)習(xí)者」的心態(tài)轉(zhuǎn)換成「研究者」的心態(tài)。我總是想著把基礎(chǔ)打扎實(shí)，從而在理解和復(fù)現(xiàn)已有的技術(shù)上花了太多的時間 —— 2011 年的夏天，我曾經(jīng)花了一個多星期來推導(dǎo) JFA 里那些復(fù)雜的矩陣運(yùn)算。在實(shí)驗(yàn)設(shè)計(jì)上，我也沒能做到「抓大放小」，而是曾經(jīng)拘泥于一些小細(xì)節(jié)，比如訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的劃分。這些原因，導(dǎo)致我還沒來得及走到「創(chuàng)新」這一步，研究項(xiàng)目就結(jié)束了。

　　

金琴教授于 2012 年春天調(diào)到了中國人民大學(xué)，于是我就轉(zhuǎn)到了同一個實(shí)驗(yàn)室的 Florian Metze 教授名下讀博士。Florian 是一位高高胖胖的德國教授，在中文語境里，我通常稱他為「花哥」。我在花哥手下做的第一個項(xiàng)目叫 Babel，其任務(wù)是在多種小語種語音里檢索關(guān)鍵詞。

與之前的我一個人做的說話人識別項(xiàng)目不同，Babel 項(xiàng)目是由全美國乃至全世界許多大學(xué)和公司共同參與的。若干個大學(xué)或公司通過合作關(guān)系結(jié)成隊(duì)伍，而隊(duì)伍與隊(duì)伍之間則是競爭關(guān)系。我在這個項(xiàng)目中的體驗(yàn)，與其說是像科研，不如說是像工作，因?yàn)轫?xiàng)目前期的主要任務(wù)，是要先搭建出一個還能用的系統(tǒng)，之后才能在此基礎(chǔ)上慢慢地創(chuàng)新。一個關(guān)鍵詞檢索系統(tǒng)通常由兩個模塊組成：前端模塊是語音識別，負(fù)責(zé)給出多種可能的識別結(jié)果；后端模塊是檢索，負(fù)責(zé)在識別結(jié)果中搜索關(guān)鍵詞并對其可靠性打分。

我在這個項(xiàng)目中承擔(dān)了很多工程性的工作：整個后端模塊基本上都由我來維護(hù)；我還開發(fā)了一些可視化工具，用來分析系統(tǒng)犯的錯誤。但是，從科研的角度來講，我的工作的科技含量并不高：檢索模塊使用的技術(shù)，說白了只是一個倒排索引而已。直到 2014 年，我們實(shí)驗(yàn)室才脫離純工程性的開發(fā)，開始研究一些有科研價(jià)值的問題，比如如何更準(zhǔn)確地給檢索到的每個關(guān)鍵詞的可靠性打分，以盡量減少漏報(bào)和誤報(bào)；比如如何檢索像專有名詞這樣詞典里并沒有的關(guān)鍵詞。

然而，2014 年 6 月，當(dāng)我在韓國臨津閣的觀光隊(duì)伍中排隊(duì)的時候，我從 Facebook 上收到了實(shí)驗(yàn)室的同學(xué)發(fā)來的噩耗：由于 CMU 所在的隊(duì)伍開發(fā)的系統(tǒng)在年度測評中表現(xiàn)不佳，我們的隊(duì)伍被淘汰了。到此時為止，我只發(fā)出了一篇一作論文；另一篇一作論文在此后經(jīng)歷了五次拒稿，終于被我塵封。知乎上有一個這樣的問題：博士第三年還沒有發(fā)論文是一種怎樣的體驗(yàn)？我想我是適合回答的，但終究沒有勇氣回答。

　　

2014 年的下半年，算是我博士生涯的一段過渡期，這段時間我沒有什么科研產(chǎn)出，而是把精力用在了給自己充電上。憑借著唯一的一篇一作論文，我參加了 2014 年 9 月在新加坡舉行的 Interspeech 會議。在會上，我嗅到了深度學(xué)習(xí)正在崛起的信號。整個秋季學(xué)期，我閱讀了會議上的近百篇論文，還在 Coursera 上學(xué)習(xí)了 Geoffrey Hinton 的深度學(xué)習(xí)課程。這讓我的博士生涯柳暗花明又一村。

　　

關(guān)于博士生涯最終的研究課題，花哥當(dāng)時給了我三個選擇。我已經(jīng)不記得另外兩個選擇是什么了；我選擇了「事件檢測」，只是因?yàn)樗腥?Facebook 實(shí)習(xí)的機(jī)會。我在 2015 年 1 月至 4 月在 Facebook 進(jìn)行了一次實(shí)習(xí)，這也是我唯一一次實(shí)習(xí)。由于版權(quán)的限制，我在 Facebook 并沒能使用 CMU 的數(shù)據(jù)真正進(jìn)行「事件檢測」的研究，而只是改進(jìn)了 Facebook 原有的語音/噪音分辨系統(tǒng)。從科研上來說，這次實(shí)習(xí)只是我對深度學(xué)習(xí)的一次練手；但它讓我在灣區(qū)交到了好多朋友，讓我覺得灣區(qū)是個好地方，從而產(chǎn)生了去 Facebook 工作的理想。這個理想，現(xiàn)在就要實(shí)現(xiàn)了。

　　

回到 CMU 以后，我才真正開始研究「事件檢測」。在研究的初期，我對「事件」還沒有明確的定義，既想檢測比較底層的事件，比如貓叫、狗叫、開門、關(guān)門，又想檢測比較高層的事件，比如球賽、婚禮、聚會等等。這些高層事件的檢測，是當(dāng)時 CMU 正在參與的另一個研究項(xiàng)目 Aladdin 的目標(biāo)；直到 2016 年 Aladdin 項(xiàng)目漸漸收尾，我才把研究的焦點(diǎn)集中到底層事件的檢測上來。

之所以選擇研究底層事件，是因?yàn)樗鼈兪菣z測高層事件的基礎(chǔ)，在還檢測不了底層事件時就去檢測高層事件，步子就邁得有點(diǎn)兒太大了。而隨著深度學(xué)習(xí)用于語音識別的最后一滴水漸漸被榨干，人們自然會開始嘗試把深度學(xué)習(xí)用于別的東西的識別，底層事件檢測的研究條件已經(jīng)成熟了：在 2016 年 3 月的 ICASSP 會議上，芬蘭 Tempere 理工大學(xué)的研究組與我同時發(fā)表了用深度學(xué)習(xí)做底層事件檢測的論文。

　　

2016 年，我的研究一直被一個困難所困擾，就是數(shù)據(jù)太少。我使用的數(shù)據(jù)，是實(shí)驗(yàn)室里的工作人員手工標(biāo)注的，總共只有十幾個小時，根本無法用于深度學(xué)習(xí)。2017 年 3 月，Google 發(fā)布了?Audio Set?數(shù)據(jù)集，它拯救了我的研究，讓我畢業(yè)的事情終于有了眉目。

Audio Set 這個數(shù)據(jù)集的特點(diǎn)首先就是「大」。它含有 200 萬條長度為 10 秒的 YouTube 視頻選段，我光是下載這些數(shù)據(jù)就用了整整一個月。這樣的大數(shù)據(jù)，正適合深度學(xué)習(xí)。但 Audio Set 還有一個重要的特點(diǎn)，就是「弱標(biāo)注」：它沒有標(biāo)注每一個事件的起止時間，而只標(biāo)注了每段音頻中的事件種類。這種標(biāo)注，直接帶火了一個研究領(lǐng)域 ——「弱標(biāo)注下的音頻事件檢測」，這也幾乎就是我的博士論文標(biāo)題。從此，我的博士論文課題就明確了：爭取在已有的、利用弱標(biāo)注做事件檢測的方法的基礎(chǔ)上進(jìn)行創(chuàng)新，做到比已有方法更好。

　　

剩下的事情，就是與預(yù)期的博士畢業(yè)時間爭分奪秒了。這段時間過得十分刺激。我原定于 2017 年 9 月博士開題，實(shí)際開題時間是 10 月 9 日，還算勉強(qiáng)趕上。今年 2、3 月的時候，我又一次鉆進(jìn)了一個細(xì)節(jié)的牛角尖（PyTorch 與 Theano 的性能差距），浪費(fèi)了兩個月的時間。到了 4 月份，我注意到英國 Surrey 大學(xué)的?@孔秋強(qiáng)?同學(xué)已經(jīng)做出了一種基于注意力機(jī)制的、利用弱標(biāo)注做事件檢測的新方法。這讓我幡然醒悟，跳出牛角尖，回到研究的主線上來。

我的論文中最重要的兩章之一，就是比較了若干種利用弱標(biāo)注做事件檢測的方法的優(yōu)劣，并深入剖析性能差距產(chǎn)生的原因。這一章是 2018 年 6 月底完成的，與計(jì)劃的時間完全一致；而另一章的核心問題，則是 8 月 16 號在散步時才想出解決辦法的。9 月，我一邊繼續(xù)跑著一點(diǎn)兒本該在 8 月就跑完的實(shí)驗(yàn)，一邊撰寫畢業(yè)論文的文本；而 10 月 5 號答辯用的幻燈片，則是 9 月 30 號才做完初稿的。這場賽跑，直到 10 月 26 日晚上，我把畢業(yè)論文最終定稿、把代碼整理好才結(jié)束。而此時，距離我爸媽來美國看我已經(jīng)只剩 5 天了。

　　

縱覽八年的博士生涯，不難發(fā)現(xiàn)，我由于自身及外界的各種因素，走了不少彎路。在三個研究項(xiàng)目中，只有最后一個，才有博士研究的樣子。偶爾，我也會想：如果從一開始就做第三個項(xiàng)目就好了，這樣我就可以在四年之內(nèi)畢業(yè)了。但我不會沉浸在這種情緒中。正如吃完第三個包子飽了不代表前兩個包子就白吃了一樣，我并不覺得我在 CMU 的前四年是荒廢了的。

整整八年的學(xué)習(xí)，讓我對語音識別、深度學(xué)習(xí)等各個領(lǐng)域的理論基礎(chǔ)有了扎實(shí)的掌握?；ǜ玳_了一門語音識別課，其中說話人識別那一講固定由我來講，學(xué)生們紛紛反饋說我講得比花哥清楚多了。同時，正是因?yàn)槲疑娅C過多個研究項(xiàng)目，我對與語音相關(guān)的多個研究領(lǐng)域都有了解并抱有興趣。開學(xué)術(shù)會議的時候，我總能挑出許多想聽的報(bào)告，馬不停蹄地輾轉(zhuǎn)于各個會場之間。而這種深度與廣度，則是不付出時間不可兼得的。

原文鏈接：
地址：https://zhuanlan.zhihu.com/p/50597445

*本文僅代表作者獨(dú)立觀點(diǎn)，轉(zhuǎn)載請聯(lián)系原作者。

BDTC 2018

◆

精彩紛呈

◆

2018?年12月6-8?日，由中國計(jì)算機(jī)學(xué)會主辦，CCF 大數(shù)據(jù)專家委員會承辦，CSDN、中科天璣數(shù)據(jù)科技股份有限公司協(xié)辦的 2018?中國大數(shù)據(jù)技術(shù)大會（BDTC 2018），將在北京新云南皇冠假日酒店隆重舉行。

除 Keynote?外，主辦方精心策劃了 13?場專題技術(shù)和行業(yè)論壇，涵蓋大數(shù)據(jù)分析與生態(tài)系統(tǒng)、深度學(xué)習(xí)、推薦系統(tǒng)、大數(shù)據(jù)安全與政策、大數(shù)據(jù)可視分析、精準(zhǔn)醫(yī)療大數(shù)據(jù)、數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)教育、數(shù)據(jù)庫、金融大數(shù)據(jù)、知識圖譜、工業(yè)大數(shù)據(jù)、區(qū)塊鏈、交通與旅游大數(shù)據(jù)等主題。

點(diǎn)擊『閱讀原文』，查看大會詳情

推薦閱讀

“基因編輯嬰兒”惹爭議，你或許不知道機(jī)器學(xué)習(xí)在脫靶效應(yīng)中的作用？

免費(fèi)報(bào)名 | 微軟亞洲研究院副院長劉鐵巖：機(jī)器學(xué)習(xí)技術(shù)前沿與未來展望

下次面試若再被問到二叉樹，希望你能對答如流！

亞馬遜AWS發(fā)布AWS RoboMaker 可直接部署機(jī)器人

程序員的江湖 務(wù)必掌握這些黑話！

高達(dá)800萬次下載量的npm包被黑客篡改了代碼，你的設(shè)備或正成為挖礦機(jī)

總結(jié)

以上是生活随笔為你收集整理的我的八年博士生涯的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。