機(jī)器之心報(bào)道

機(jī)器之心編輯部

今日，一篇論文帖子在 Reddit 的機(jī)器學(xué)習(xí)版塊引起了大家的關(guān)注。該論文表示 Concetto Spampinato 等人 2017 年的 CVPR 論文存在錯誤。但從討論來看，這篇批評論文同樣引起了網(wǎng)友的質(zhì)疑。

Reddit 討論地址：https://www.reddit.com/r/MachineLearning/comments/a8p0l8/p_training_on_the_test_set_an_analysis_of/

該論文對 Concetto Spampinato 等人 2017 年的 CVPR 論文《Deep Learning Human Mind for Automated Visual Classification》進(jìn)行了分析，得出結(jié)論：這篇論文以及該實(shí)驗(yàn)室隨后的 7 篇論文的結(jié)果都有誤。

• 論文標(biāo)題：Deep Learning Human Mind for Automated Visual Classification

• 論文地址：http://perceive.dieei.unict.it/deep_learning_human_mind.php

在圍觀 Reddit 討論之前，讓我們先看看批評者們都怎么說：

論文地址：https://arxiv.org/abs/1812.07697

以前 CVPR 2017 有一篇論文學(xué)習(xí)對受試者觀察 ImageNet 圖像時記錄到的 EEG 數(shù)據(jù)進(jìn)行分類，且使用學(xué)習(xí)到的分類器來訓(xùn)練一個純粹的計(jì)算機(jī)視覺模型。在此論文中，ImageNet 中的圖片做為刺激信號展示給接受 EEG 記錄的受試者，然后訓(xùn)練一個結(jié)合全連接層和 ReLU 層的 LSTM 來預(yù)測記錄到的 EEG 信號的圖像刺激類別。其中 ReLU 的輸出反映了人類對認(rèn)知的神經(jīng)編碼。為了得到一種能產(chǎn)生同樣認(rèn)知編碼的計(jì)算機(jī)視覺系統(tǒng)，這篇論文又把已有目標(biāo)分類器的輸出回歸到論文聲稱的這種人類認(rèn)知神經(jīng)編碼中。

那篇論文作出了三個聲明：

• 我們提出了一種能對圖像激活腦電波的 EEG 數(shù)據(jù)進(jìn)行分類的深度學(xué)習(xí)方法，這種方法在處理目標(biāo)類別的數(shù)量與分類準(zhǔn)確率上都超越了頂尖方法。

• 我們提出首個由大腦信號驅(qū)動的計(jì)算機(jī)視覺方法，也就是首個利用視覺描述符進(jìn)行自動分類的方法。這種視覺描述符直接提取自人類進(jìn)行視覺場景分析時的神經(jīng)處理過程。

• 我們將會公開這一最大的視覺目標(biāo)分析 EEG 數(shù)據(jù)集，且附上相關(guān)開源代碼與訓(xùn)練模型。

特別是他們的論文近一步聲明：

• 相比于先前的研究，我們的方法能夠分類大量（40）目標(biāo)類別，特別是在 EEG 信號上。

• 相比于先前分類 EEG 信號的研究，我們方法的分類準(zhǔn)確率高的多（82.9%)。

此外，此論文更是用盛贊之詞表達(dá)其聲明的結(jié)果：

在本論文中，我們希望在經(jīng)典 BCI 方面取得重大突破，即旨在探索一種新型和直接的人類參與形式，并用于自動視覺分類。這個方法潛在的觀點(diǎn)是學(xué)習(xí)一種大腦信號對視覺類別的判別性流形，這可以通過分類 EEC 信號實(shí)現(xiàn)。也就是說讀取大腦信號，并將圖像映射到這樣的流形上以允許機(jī)器執(zhí)行自動視覺分類，這一過程可以說是將人類的視覺能力遷移到機(jī)器。

解碼對象類別相關(guān)的 EEG 信號以用于計(jì)算機(jī)視覺方法，這種方法的影響是很巨大的。首先，識別基于 EEG 的判別性特征可能會提供一些關(guān)于人類視覺感知系統(tǒng)的洞見，其中這些判別性特征可用于視覺分類。因此，它將極大地提高基于 BCI 的應(yīng)用性能，并實(shí)現(xiàn)新形式基于腦的圖像標(biāo)注。其次，將圖像有效地投影到新的基于生物學(xué)的流形中將徹底改變對象分類器的開發(fā)方式（主要是在特征提取方面）。[31，§1pp.6809-6810]

我們做了很多實(shí)驗(yàn)與分析，且分析結(jié)果不禁讓我們懷疑上面 CVPR 2017 原論文的聲明。具體的，我們發(fā)現(xiàn)采用的分類器會讓長期靜態(tài)腦激活的使用會比獨(dú)立刺激的時間長。由于前面那篇 CVPR 2017 論文采用了塊設(shè)計(jì)（block design），所有給定類別圖像的刺激都連續(xù)呈現(xiàn)給受試者，因此所采用的分類器傾向于在「塊」期間內(nèi)對大腦的活動進(jìn)行分類，這似乎與刺激的圖像類別很大程度上并不相關(guān)。

分類器對 EEG 信號中的 DC 和極低頻（VLF）分量的依賴性加劇了這種情況，這些分量反映了「塊」期間的任意長期靜態(tài)心理狀態(tài)，而不是動態(tài)的大腦活動。由于測試集中的試驗(yàn)與訓(xùn)練集樣本試驗(yàn)都來自相同的「塊」，這相當(dāng)于在測試時獲取了相同靜態(tài)心理狀態(tài)，從而「竊取」了訓(xùn)練信息。因此那篇 CVPR 2017 論文能獲得極高的分類準(zhǔn)確率，它隱性地在測試集上做訓(xùn)練！

當(dāng)我們使用快速事件重新設(shè)計(jì)實(shí)驗(yàn)時，發(fā)現(xiàn)用不同圖像刺激獲得的信號完全是隨機(jī)的，分類準(zhǔn)確率下降到了隨機(jī)選擇。因此，這使得我們懷疑隨后 7 篇論文的結(jié)果與聲明（完整的名單讀者可查閱原論文）。我們的實(shí)驗(yàn)最終表示潛在任務(wù)遠(yuǎn)遠(yuǎn)要比表面看起來難得多，并且遠(yuǎn)遠(yuǎn)超出現(xiàn)有的技術(shù)水平。同樣，實(shí)驗(yàn)結(jié)果最終也表明了那 8 篇廣泛發(fā)表的論文過于樂觀了，它們的結(jié)果同樣也是有誤的。

Reddit 討論

這篇帖子昨日發(fā)布之后，引起了多位研究者的討論，有從標(biāo)題開始批評論文《Training on the test set? An analysis of Spampinato et al. [31]》的，也有從技術(shù)層面對這兩篇論文進(jìn)行討論的。機(jī)器之心編譯介紹了部分評論，感興趣的讀者查看原帖。

網(wǎng)友 singularineet 表示：

怎么直觀理解這篇論文要表達(dá)的意思呢？我們來打個比方。比如，你想訓(xùn)練一個分類器來分析 X 光片以檢測癌癥。這些 X 光片會顯示其拍攝的時間（假設(shè) X 射線機(jī)器會在早上進(jìn)行校正，并在一天內(nèi)隨時間逐漸漂移，并且這種漂移效應(yīng)會立刻出現(xiàn)在 X 光片中）。并且，有高度優(yōu)先權(quán)的已知得了癌癥的病人會在早上拍 X 光片，其他人安排在下午。那么，你的模型就能僅通過拍攝時間來準(zhǔn)確地預(yù)測癌癥。

同理，Spampinato 等人的研究中使用了 EEG 電極，導(dǎo)電霜是干燥的，電極接觸不良等。因此，他們的實(shí)驗(yàn)引入了很多噪聲，種種完全無關(guān)因素導(dǎo)致 EEG 的系統(tǒng)性漂移，并展示在圖像中。此外還有外部噪聲的干擾，比如空調(diào)溫度等。

由于圖像類是在同一類的塊中呈現(xiàn)的，因此網(wǎng)絡(luò)所要做的就是根據(jù)其他偶然要素進(jìn)行預(yù)測，而不是尋找與圖像類本身有關(guān)系的要素。

這些效應(yīng)在腦成像領(lǐng)域中是眾所周知的，這就是為什么實(shí)驗(yàn)方案總是平衡的，并且嘗試通過消除有害信號來去除偽像。因此，批評論文中的所有注意力都集中在信號過濾問題上。

jande8778 更是直接批評《Training on the test set? An analysis of Spampinato et al. [31]》一文是他讀過的最糟糕的論文。

我讀過的最糟糕的論文。讓我們從標(biāo)題開始，其表明 [31] 的作者在測試集上訓(xùn)練，這是不對的。另一方面，[31] 的作者使用的 DL 技術(shù)是有意義的，如果他們證明使用不同數(shù)據(jù)集的那些方法的有效性，他們的研究應(yīng)該沒問題。

盡管如此，旨在發(fā)現(xiàn) EEG 數(shù)據(jù)集偏差的批評部分還是有意義的。

jande8778 繼續(xù)說這篇批判論文最淺顯、最糟糕的部分是試圖拒絕采用 DL 方法進(jìn)行腦電波的分類與生成。他說：「評論他人的研究可能要比做研究更難，需要更嚴(yán)謹(jǐn)一些?！?/span>

其中，論文的一作 C. Spampinato 也對此帖作出了回復(fù)。他表示雖然批判論文的標(biāo)題選了一個眾所周知的禁忌，但他自己不是特別在乎，除了自己的名字出現(xiàn)在標(biāo)題上。

此外，關(guān)于討論中一些技術(shù)細(xì)節(jié)，Spampinato 也給出相應(yīng)的解釋。例如批判文章最大的質(zhì)疑，即 CVPR 2017 的那篇論文采用塊分析，連續(xù)地將相同類別的訓(xùn)練集與測試集給受試者，因此分類器學(xué)到的可能只是靜態(tài)腦電波。Spampinato 表示這可能是一個假設(shè)，但是移除極低頻和 DC 等可能影響的噪聲后，分類器還是能實(shí)現(xiàn)很好的性能。此外，Spampinato 表示他們會做更多的研究與調(diào)查弄清楚這一假設(shè)。

機(jī)器之心CES 2019專題報(bào)道即將到來，歡迎大家積極關(guān)注。

點(diǎn)擊「閱讀原文」查看機(jī)器之心專題頁。

總結(jié)

以上是生活随笔為你收集整理的在测试集上训练，还能中CVPR？这篇IEEE批判论文是否合理？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。