一個(gè)神經(jīng)元能夠催生多少故事？香港中文大學(xué)信息工程系助理教授周博磊近日撰文介紹了他自 2015 年開始至今對(duì)神經(jīng)元的研究經(jīng)歷。最近，他與 David Bau、朱俊彥等人合作的神經(jīng)元研究論文發(fā)表在了 PNAS 雜志上。

>>>>

以下是周博磊的原帖內(nèi)容：

憋了好久的一個(gè)工作，終于發(fā)表在九月份的 PNAS 雜志上。David 大叔還專門做了一個(gè)課題網(wǎng)站，數(shù)據(jù)和代碼也一并公布了。感謝 MIT 團(tuán)隊(duì)的合作，算是終于達(dá)到圓滿狀態(tài)。論文目的，是為了理解一個(gè)神經(jīng)元的價(jià)值。

論文：Understanding the Role of Individual Units in a Deep Network

• 論文地址：https://www.pnas.org/content/pnas/early/2020/08/31/1907375117.full.pdf
  

• 網(wǎng)站地址：http://dissect.csail.mit.edu/

論文本身并不是重點(diǎn)，我只是想寫一個(gè)簡(jiǎn)單的總結(jié)，來(lái)講講這個(gè)持續(xù)了 5 年的關(guān)于探索一個(gè)神經(jīng)元的價(jià)值以及一個(gè)神經(jīng)病的堅(jiān)持之旅。

我死磕在卷積網(wǎng)絡(luò)中單個(gè)神經(jīng)元語(yǔ)義的研究上有很長(zhǎng)一段時(shí)間了。最早是 2015 年讀博期間發(fā)表的那篇 ICLR'15 論文《Object Detectors Emerge in Deep Scene CNNs》，它至今是我最喜歡的幾篇論文之一。

這篇論文可視化了場(chǎng)景分類網(wǎng)絡(luò)內(nèi)部的神經(jīng)元，我們發(fā)現(xiàn)有一部分神經(jīng)元演化出了對(duì)特定語(yǔ)義檢測(cè)的功能，比如下圖所示的各種物體檢測(cè)器。這里有意思的點(diǎn)是，在訓(xùn)練這個(gè)場(chǎng)景分類卷積網(wǎng)絡(luò)的時(shí)候，我們給予的標(biāo)簽都是場(chǎng)景標(biāo)簽，并沒有任何物體標(biāo)定，所以說(shuō)這些神經(jīng)元是自然而然地演變成物體檢測(cè)器，有些弱監(jiān)督以及非監(jiān)督的思想，但又不完全一樣。幾年前我為此專門寫過一個(gè)回答：現(xiàn)在的深度學(xué)習(xí)的模型越來(lái)越大，有個(gè)結(jié)論是說(shuō)，大腦的激活是非常稀疏的，對(duì)模型參數(shù)有什么好的辦法壓縮嗎？

后來(lái) 2016 年的時(shí)候，為了建立神經(jīng)網(wǎng)絡(luò)分類結(jié)果與內(nèi)部神經(jīng)元的激活的聯(lián)系，我開發(fā)了一個(gè)簡(jiǎn)單的方法，叫 Class Activation Mapping (CAM)。CAM 可以疊加神經(jīng)元的激活相應(yīng)，從而生成一張熱力圖來(lái)高亮圖片里跟預(yù)測(cè)最有關(guān)聯(lián)的區(qū)域。于是我就誤打誤撞有了我自己引用數(shù)量最高的一篇論文 ^,^。

其實(shí)這篇工作的初衷只是分析神經(jīng)元與下游任務(wù)的關(guān)聯(lián)，當(dāng)時(shí)這篇論文因?yàn)榉椒ㄌ?jiǎn)單被 ICCV'15 拒過一次，差點(diǎn)就發(fā)表不出來(lái)了，方法本身也不被當(dāng)時(shí)的導(dǎo)師 Antonio 看好，誰(shuí)又知道它后來(lái)會(huì)成為如此高引的工作呢……

這個(gè)方法后來(lái)被用到弱監(jiān)督定位上面，在給定圖片標(biāo)簽的情況下做物體定位，被一堆方法吊打。不過今年 CVPR'20 上韓國(guó)的 clovaai 團(tuán)隊(duì)把幾個(gè)常用的弱監(jiān)督定位的方法做了個(gè)客觀的比較 (Benchmarking)。有意思的結(jié)果是，5 個(gè)基于 CAM 開發(fā)的發(fā)表在頂會(huì)的弱監(jiān)督定位算法最后都沒能跑過當(dāng)年的這個(gè) CAM。同學(xué)們，多審視下自己的工作，出來(lái)混總是要還的。

再后面 2017 年，50 幾歲財(cái)務(wù)自由后回 MIT 讀博士的 David Bau 大叔加入了實(shí)驗(yàn)室，我跟他一起合作了一個(gè)叫 Network Disp 的方法。NetDissect 可以通過標(biāo)定好的數(shù)據(jù)庫(kù)來(lái)給神經(jīng)元打上語(yǔ)義標(biāo)簽以及置信度，從而我們可以通過比較具有語(yǔ)義的神經(jīng)元的多少來(lái)量化不同網(wǎng)絡(luò)的可解釋性。

再后來(lái) 2018 年臨近畢業(yè)，DeepMind 出了篇打臉論文《On the importance of single directions for generalization》，大致意思是說(shuō)研究 single unit 的語(yǔ)義并沒有多少意義，反而在某些情況下會(huì)損害網(wǎng)絡(luò)的泛化能力。他們的一個(gè)核心實(shí)驗(yàn)結(jié)果是，不管是去掉高語(yǔ)義或者去掉低語(yǔ)義的神經(jīng)元，對(duì)網(wǎng)絡(luò)的整體分類準(zhǔn)確度的損害 (overall accuracy drop) 都是無(wú)差異的，所以神經(jīng)元的語(yǔ)義沒有意義。

這怎么能忍，我當(dāng)時(shí)在畢業(yè)前夕還一周狂做實(shí)驗(yàn)折騰出了一篇反打臉文章《Revisting the Importance of Single Units》，指出 DeepMind 那篇論文只是分析了神經(jīng)元對(duì)整體分類準(zhǔn)確度的影響，而忽略了對(duì)不同類別的分類結(jié)果的影響 (class accuracy drop)。一個(gè)重要結(jié)果是，去掉高語(yǔ)義的神經(jīng)元，會(huì)對(duì)某些特定類別的分類有毀滅性影響。

比如說(shuō)下圖結(jié)果所示，是去掉某個(gè)檢測(cè)水流的神經(jīng)元后所有類別分類準(zhǔn)確度下降程度 (class accuracy drop) 的排序，排在前面損害最大的類別是 waterfall, fountain, hot_spring 等等，其中對(duì) waterfall 的準(zhǔn)確度有接近 - 50% 的損害。另一方面，如右下角所示，去掉這個(gè)神經(jīng)元對(duì)整體的分類準(zhǔn)確度影響卻很微弱，原因是有些類別（最右邊）會(huì)受益于去掉這個(gè)神經(jīng)元，這也是比較有意思的一個(gè)現(xiàn)象，難道是 antifragle？另外，該文章還分析了一些網(wǎng)絡(luò)訓(xùn)練的 regularizer 對(duì)表征的影響，比如說(shuō) dropout 會(huì)降低神經(jīng)元的語(yǔ)義特性等等。后來(lái)因?yàn)橹T多原因這篇論文也沒有再繼續(xù)投稿，一直留在 arXiv 上了。

2018 年我從 MIT 畢業(yè)之后，David 接手了探索單個(gè)神經(jīng)元價(jià)值的擔(dān)子，把 netdissect 進(jìn)一步擴(kuò)展到生成網(wǎng)絡(luò)，一年產(chǎn)出了一系列交互性很強(qiáng)的優(yōu)秀工作，如 GAN disp、GAN Paint，通過打開和關(guān)閉某個(gè)語(yǔ)義的神經(jīng)元來(lái)給圖片里增加和刪除某些內(nèi)容。

?

再后來(lái) 2020 年的現(xiàn)在，有了這篇 PNAS 雜志論文。這份論文把之前的一系列解析一個(gè)神經(jīng)元價(jià)值的工作整合起來(lái)，通過打開和關(guān)閉神經(jīng)元的簡(jiǎn)單操作，量化分析了場(chǎng)景分類網(wǎng)絡(luò)和生成網(wǎng)絡(luò)里面一個(gè)神經(jīng)元的價(jià)值，并且在解釋對(duì)抗樣本和圖片編輯上面做了應(yīng)用。這篇論文的 editor 是 David Donoho 大神，感覺檔次就很不一樣，PNAS 應(yīng)該是僅次于 CNS 級(jí)別的雜志了吧 :-)。審稿前后弄了快一年，好在隊(duì)友 David 和俊彥的實(shí)驗(yàn), 作圖、寫作都是超一流。感謝隊(duì)友的 carry。

洋洋灑灑寫了這么多，這篇論文的具體內(nèi)容還是大家自己去看吧。我這里只是想把這個(gè)斷斷續(xù)續(xù)持續(xù)了 5 年的「一個(gè)神經(jīng)元的價(jià)值」之旅，以及讓自己廢寢忘食如神經(jīng)病一樣堅(jiān)持的研究課題記錄下來(lái)。

一個(gè)神經(jīng)元的價(jià)值，都快熬成了神經(jīng)病一般的堅(jiān)持。在現(xiàn)在這個(gè) AI 論文泛濫和內(nèi)卷的大形勢(shì)下，又還有多少課題可以再讓人像神經(jīng)病一樣堅(jiān)持 5 年之久呢，但愿人人都能找到自己的價(jià)值和堅(jiān)持所在。

原文鏈接：https://zhuanlan.zhihu.com/p/237430657

—THE END—

編輯?∑Gemini

來(lái)源：機(jī)器之心

文章推薦

?最全數(shù)學(xué)各個(gè)分支簡(jiǎn)介

?十大中國(guó)數(shù)學(xué)之最

?數(shù)學(xué)和編程

?機(jī)器學(xué)習(xí)中需要了解的 5 種采樣方法

?北大讀博手記：怎樣完成自己的博士生涯？非常具有指導(dǎo)性！

?施一公：為什么要獨(dú)立思考、為什么要尊重科學(xué)？

總結(jié)

以上是生活随笔為你收集整理的周博磊自述5年研究经历：一个神经元的价值和一个神经病的坚持的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。