5 月 29 日，Science 刊登了一篇標(biāo)題為“人工智能某些領(lǐng)域的核心進(jìn)展一直停滯不前”的文章，在文章里，作者 Matthew Hutson 提到：一些多年之前的“老算法”如果經(jīng)過微調(diào)，其性能足以匹敵當(dāng)前的 SOTA。

　　另外，作者在文章中還列舉了一些論文，這些論文對(duì)當(dāng)前關(guān)鍵的 AI 建模技術(shù)進(jìn)行了分析，所有的分析結(jié)果主要有兩種：

　　1、研究員聲稱的核心創(chuàng)新只是對(duì)原算法的微改進(jìn)；

　　2、新技術(shù)與多年前的舊算法在性能上相差不大。

　　具體到技術(shù)層面，論文對(duì)比分析的 AI 建模方法包括：神經(jīng)網(wǎng)絡(luò)剪枝、神經(jīng)網(wǎng)絡(luò)推薦算法、深度度量學(xué)習(xí)、對(duì)抗性訓(xùn)練、語言模型。

　　科研有風(fēng)險(xiǎn)，入坑需謹(jǐn)慎。下面，AI 科技評(píng)論簡要介紹這幾篇論文，為大家提供避坑指南。

　　神經(jīng)網(wǎng)絡(luò)剪枝：評(píng)價(jià)指標(biāo)模糊

　　論文地址：

　　https://proceedings.mlsys.org/static/paper_files/mlsys/2020/73-Paper.pdf

　　對(duì)神經(jīng)網(wǎng)絡(luò)剪枝技術(shù)進(jìn)行對(duì)比分析的論文是“What is the State of Neural Network Pruning?”，論文一作是來自麻省理工的研究員 Davis Blalock。

　　他們通過對(duì)比 81 相關(guān)篇論文，并在對(duì)照條件下對(duì)數(shù)百個(gè)模型進(jìn)行修剪后，明顯發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)剪枝這一領(lǐng)域并沒有標(biāo)準(zhǔn)化的基準(zhǔn)和指標(biāo)。換句話說，當(dāng)前最新論文發(fā)表的技術(shù)很難進(jìn)行量化，所以，很難確定該領(lǐng)域在過去的三十年中取得了多少進(jìn)展。

　　主要表現(xiàn)在：

　　1、許多論文雖然聲明提高了技術(shù)水平，但忽略了與其他方法進(jìn)行比較（這些方法也聲稱達(dá)到了 SOTA）。這種忽略體現(xiàn)兩個(gè)方面，一個(gè)是忽略 2010 年之前的剪枝技術(shù)，另一個(gè)是忽略了現(xiàn)在的剪枝技術(shù)。

　　2、數(shù)據(jù)集和架構(gòu)都呈現(xiàn)“碎片化”。81 篇論文一共使用了 49 個(gè)數(shù)據(jù)集、132 個(gè)體系結(jié)構(gòu)和 195 個(gè)(數(shù)據(jù)集、體系結(jié)構(gòu))組合。

　　3、評(píng)價(jià)指標(biāo)“碎片化”。論文使用了各種各樣的評(píng)價(jià)指標(biāo)，因此很難比較論文之間的結(jié)果。

　　4、混淆變量。有些混淆的變量使得定量分析變得十分困難。例如，初始模型的準(zhǔn)確度和效率、訓(xùn)練和微調(diào)中的隨機(jī)變化等等。

　　在論文的最后，Davis Blalock 提出了具體的補(bǔ)救措施，并引入了開源的框架 ShrinkBench，用于促進(jìn)剪枝方法的標(biāo)準(zhǔn)化評(píng)估。另外，此篇論文發(fā)表在了 3 月份的 MLSys 會(huì)議上。

　　神經(jīng)網(wǎng)絡(luò)推薦算法：18 種算法無一幸免

　　論文下載地址：https://dl.acm.org/doi/pdf/10.1145/3298689.3347058

　　對(duì)神經(jīng)網(wǎng)絡(luò)推薦算法進(jìn)行分析的論文是 “ Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches ”，作者是來自意大利米蘭理工大學(xué)的研究員。

　　在論文中，作者對(duì)當(dāng)前排名靠前的幾種推薦算法進(jìn)行了系統(tǒng)分析，發(fā)現(xiàn)近幾年頂會(huì)中提出的 18 種算法，只有 7 種能夠合理的復(fù)現(xiàn)。還有另外 6 種，用相對(duì)簡單的啟發(fā)式方法就能夠勝過。剩下的幾種，雖然明顯優(yōu)于 baselines，但是卻打不過微調(diào)過的非神經(jīng)網(wǎng)絡(luò)線性排名方法。

　　導(dǎo)致這種現(xiàn)象的原因，作者分析了三點(diǎn)：1、弱基準(zhǔn)（ weak baselines）；2、建立弱方法作為新基準(zhǔn)；3、在比較或復(fù)制不同論文的結(jié)果方面存在差異。

　　為了得到上述結(jié)果，作者在論文中介紹，其共進(jìn)行了兩個(gè)步驟：第一步是用相關(guān)論文提供的源代碼、和數(shù)據(jù)嘗試復(fù)現(xiàn)論文結(jié)果；

　　第二步，重新執(zhí)行了原始論文中報(bào)告的實(shí)驗(yàn)，但也在比較中加入了額外的基線方法，具體而言，其使用了基于用戶和基于項(xiàng)目的最近鄰啟發(fā)式方法，以及簡單的基于圖形的方法（graph-based approach）進(jìn)行比較。

　　深度度量學(xué)習(xí)：該領(lǐng)域 13 年來并無進(jìn)展

　　論文下載地址：https://arxiv.org/pdf/2003.08505.pdf

　　對(duì)深度度量學(xué)習(xí)進(jìn)行分析的文章來自 Facebook AI 和 Cornell Tech 的研究人員，他們發(fā)表研究論文預(yù)覽文稿標(biāo)題為“A Metric Learning Reality Check”。

　　在論文中，研究員聲稱近十三年深度度量學(xué)習(xí)（deep metric learning） 領(lǐng)域的目前研究進(jìn)展和十三年前的基線方法(Contrastive, Triplet) 比較并無實(shí)質(zhì)提高。

　　研究員一共指出了現(xiàn)有文獻(xiàn)中的三個(gè)缺陷：不公平的比較、通過測試集反饋進(jìn)行訓(xùn)練、不合理的評(píng)價(jià)指標(biāo)。

　　不公平的比較：一般大家聲明一個(gè)算法性能優(yōu)于另一個(gè)算法，通常需要確保盡可能多的參數(shù)不變，而在度量學(xué)習(xí)的論文中不是如此。另外，一些論文中所提到的精度提高其實(shí)只是所選神經(jīng)網(wǎng)絡(luò)帶來的，并不是他們提出的“創(chuàng)新”方法。例如 2017 年的一篇論文聲稱使用 ResNet50 獲得了巨大的性能提升，而實(shí)際上他的對(duì)比對(duì)象是精度較低的 GoogleNet。

　　通過測試集反饋進(jìn)行訓(xùn)練：不僅是度量學(xué)習(xí)領(lǐng)域，大多數(shù)論文都有這一通病：將數(shù)據(jù)集一半拆分為測試集，一半拆分為訓(xùn)練集，不設(shè)驗(yàn)證集。在具體訓(xùn)練的過程中，定期檢查模型的測試集精度，并報(bào)告最佳測試集精度，也就是說模型選擇和超參數(shù)調(diào)優(yōu)是通過來自測試集的直接反饋來完成的，這顯然會(huì)有過擬合的風(fēng)險(xiǎn)。

　　不合理的評(píng)價(jià)指標(biāo)：為了體現(xiàn)準(zhǔn)確性，大多數(shù)度量學(xué)習(xí)論文都會(huì)報(bào)告 Recall@K、歸一化相互信息(NMI)和 F1 分?jǐn)?shù)。但這些一定是最好的衡量標(biāo)準(zhǔn)嗎？如下圖三個(gè)嵌入空間，每一個(gè) recall@1 指標(biāo)評(píng)價(jià)都接近滿分，而事實(shí)上，他們之間的特征并不相同。此外，F(xiàn)1 和 NMI 分?jǐn)?shù)也接近，這在一定程度上說明，其實(shí)，這幾個(gè)指標(biāo)并沒帶來啥信息。

　　三個(gè) toy 示例：不同的精確指標(biāo)如何評(píng)分。

　　在指出問題的同時(shí)，F(xiàn)B 和康奈爾的研究員自然也指出了改進(jìn)建議，針對(duì)上述三個(gè)缺點(diǎn)建議進(jìn)行公平比較和重復(fù)性實(shí)驗(yàn)、通過交叉驗(yàn)證進(jìn)行超參數(shù)搜索、采用更加準(zhǔn)確的信息性、準(zhǔn)確性度量。

　　對(duì)抗性訓(xùn)練：所有改進(jìn)都可通過“提前停止”實(shí)現(xiàn)

　　論文下載地址：https://openreview.net/pdf?id=ByJHuTgA-

　　對(duì)“對(duì)抗性訓(xùn)練”進(jìn)行研究的論文標(biāo)題是“Overfitting in adversarially robust deep learning”，第一作者是來自卡內(nèi)基梅隴大學(xué)的研究員 Leslie Rice。

　　在論文中，作者提到機(jī)器學(xué)習(xí)算法的進(jìn)步可以來自架構(gòu)、損失函數(shù)、優(yōu)化策略等的改變，對(duì)這三個(gè)因素中的任何一個(gè)進(jìn)行微調(diào)都能夠改變算法的性能。

　　他的研究領(lǐng)域是對(duì)抗訓(xùn)練，他說：經(jīng)過訓(xùn)練的圖像識(shí)別模型可以免受黑客的 "對(duì)抗性攻擊"，早期的對(duì)抗訓(xùn)練方法被稱為投影梯度下降算法(projected gradient descent)。

　　近期的很多研究都聲稱他們的對(duì)抗訓(xùn)練算法比投影梯度下降算法要好的多，但是經(jīng)過研究發(fā)現(xiàn)，幾乎所有最近的算法改進(jìn)在對(duì)抗性訓(xùn)練上的性能改進(jìn)都可以通過簡單地使用“提前停止”來達(dá)到。另外，在對(duì)抗訓(xùn)練模型中，諸如雙下降曲線之類的效應(yīng)仍然存在，觀察到的過擬合也不能很多的解釋。

　　最后，作者研究了幾種經(jīng)典的和現(xiàn)代的深度學(xué)習(xí)過擬合補(bǔ)救方法，包括正則化和數(shù)據(jù)增強(qiáng)，發(fā)現(xiàn)沒有一種方法能超得過“提前停止”達(dá)到的收益。所以，他們得出結(jié)論：PGD 之類的創(chuàng)新很難實(shí)現(xiàn)，當(dāng)前的研究很少有實(shí)質(zhì)性改進(jìn)。

　　語言模型：LSTM 仍然一枝獨(dú)秀

　　對(duì)語言翻譯進(jìn)行研究的論文名為“On the State of the Art of Evaluation in Neural Language Models，此論文是 DeepMind 和牛津大學(xué)合力完成。

　　在論文中，作者提到神經(jīng)網(wǎng)絡(luò)架構(gòu)的不斷創(chuàng)新，為語言建模基準(zhǔn)提供了穩(wěn)定的最新成果。這些成果都是使用不同的代碼庫和有限的計(jì)算資源進(jìn)行評(píng)估的，而這種評(píng)估是不可控的。

　　根據(jù)其論文內(nèi)容，作者一共主要研究了三個(gè)遞歸模型架構(gòu)（recurrent architectures），分別是：LSTM、 RHN（Recurrent Highway Network）、NAS。研究 RHN 是因?yàn)樗诙鄠€(gè)數(shù)據(jù)集上達(dá)到了 SOTA，而研究 NAS 是因?yàn)樗募軜?gòu)是基于自動(dòng)強(qiáng)化學(xué)習(xí)的優(yōu)化過程的結(jié)果。

　　最后，作者通過大規(guī)模的自動(dòng)黑箱超參數(shù)調(diào)優(yōu)，重新評(píng)估了幾種流行的體系結(jié)構(gòu)和正則化方法，得出的一個(gè)結(jié)論是：標(biāo)準(zhǔn)的 LSTM 體系結(jié)構(gòu)在適當(dāng)?shù)恼齽t化后，其性能表現(xiàn)優(yōu)于“近期”的模型。

　　viahttps://www.sciencemag.org/news/2020/05/eye-catching-advances-some-ai-fields-are-not-real

總結(jié)

以上是生活随笔為你收集整理的Science：有调查有真相！某些AI领域多年无实际进展的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。