機(jī)器之心報道

機(jī)器之心編輯部

今日，arXiv 上剛發(fā)布的一篇論文引起了極大的關(guān)注。該研究基于論文的視覺外觀訓(xùn)練了一個分類器來預(yù)測一篇論文應(yīng)該被接收或者拒絕。該論文作者為弗吉尼亞理工學(xué)院助理教授 Jia-Bin Huang，同時他也是 CVPR 2019、ICCV 2019 的領(lǐng)域主席（Area Chair，AC）。

這篇有趣的論文剛剛公開就在 Twitter 上引發(fā)熱議。這篇文章表示，好的論文版面非常重要。該研究中僅基于論文視覺外觀訓(xùn)練出的分類器可以拒絕 50% 的壞論文，只有 0.4% 的好論文沒被接收。然而，作者把訓(xùn)練出的分類器應(yīng)用到這篇論文本身時，該論文遭到了無情拒絕，且拒絕概率高達(dá) 97%。真是自作孽啊（大霧……

當(dāng)然，網(wǎng)上評論中也存在質(zhì)疑。有網(wǎng)友表示，「一篇論文該不該被接收要由視覺外觀決定嗎？」

在了解此論文之前，讓我們先看下視頻演示：

作者在 Github 上放出了這篇論文的數(shù)據(jù)集與預(yù)訓(xùn)練權(quán)重，感興趣的同學(xué)可以查看 Github 項(xiàng)目：https://github.com/vt-vl-lab/paper-gestalt。

以下是對此論文的介紹：

同行評審是社區(qū)中的其他專家對一份學(xué)術(shù)工作進(jìn)行的全面審查，是傳播科學(xué)成果的關(guān)鍵一環(huán)。然而，頂會論文投稿量的破紀(jì)錄增長和合格評審者數(shù)量不足之間的矛盾使得同行評審過程舉步維艱（見圖 1）。為了審查所有的投稿論文，大會組織者不得不擴(kuò)充評審者團(tuán)隊，并不可避免地將一些資歷不深的學(xué)生也包括進(jìn)來 [3]。這可能導(dǎo)致，花了幾個月或幾年時間寫論文的作者最后收到的是不合理、欠考慮或不公平的評審結(jié)果。

圖 1：需求。過去幾年，計算機(jī)視覺頂會論文數(shù)量激增，但合格的評審者數(shù)量增長卻沒有那么明顯。

本文作者從兩方面解決這一矛盾。首先，他使用往屆大會的論文訓(xùn)練了一個深度卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)基于論文的視覺外觀（即論文版面，paper gestalt [19]）決定論文質(zhì)量。其次，他還為論文作者提供了一些診斷工具，幫助其改進(jìn)以后要提交的論文。該深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)是 2013 - 2017 年 ICCV/CVPR 大會和 workshop 論文數(shù)據(jù)，基于此神經(jīng)網(wǎng)絡(luò)的分類器在 CVPR 2018 論文上的分類準(zhǔn)確率可以達(dá)到 92%。這一模型可以有效拒絕 50% 的糟糕論文，錯判的好論文僅占 0.4%。因此，該系統(tǒng)可以作為一系列論文評審過程的預(yù)過濾器。使用收集的計算機(jī)視覺論文版面（CVPG）數(shù)據(jù)集可以：1）可視化好／壞論文的判別區(qū)域；2）將一篇糟糕的論文直接轉(zhuǎn)換成一篇好論文。這些工具可以告訴作者版面的哪些地方有待改進(jìn)，以及如何改進(jìn)。

論文：Deep Paper Gestalt

論文地址：https://arxiv.org/pdf/1812.08775.pdf

摘要：近年來，計算機(jī)視覺會議的接收論文數(shù)量激增，但有能力的評審數(shù)量卻嚴(yán)重不足，這種矛盾給現(xiàn)在的同行評審制度造成了很大的負(fù)擔(dān)。在本文中，我們學(xué)習(xí)了一個分類器來預(yù)測論文是否應(yīng)被接受，判斷依據(jù)僅僅是論文的視覺外觀（即論文的版面）。實(shí)驗(yàn)結(jié)果顯示，我們的分類器可以有效地拒絕 50% 的糟糕論文，錯判的好論文僅為 0.4%，大大降低了審稿人的工作負(fù)擔(dān)。我們還提供了一些工具，利用它們向作者提供建議，作者可據(jù)此改善自己論文的格式。

學(xué)習(xí)識別好／壞論文

該研究利用深度卷積神經(jīng)網(wǎng)絡(luò)（ConvNet），僅基于論文的視覺外觀來學(xué)習(xí)判別表征。

數(shù)據(jù)構(gòu)建

數(shù)據(jù)源：研究者從計算機(jī)視覺頂會的接收論文列表中收集正樣本（好的論文）。具體而言，研究者收集的是計算機(jī)視覺基金會（Computer Vision Foundation，CVF）主辦的近期會議接收論文的 Open Access 版本，包括 2013 到 2018 期間的六屆 CVPR 和三屆 ICCV。

具體到數(shù)據(jù)獲取和預(yù)處理階段，研究者首先從 CVF Open Access 網(wǎng)站上抓取正負(fù)樣本，然后為方便分類過濾掉論文不足 7 頁的論文，僅保留論文頁數(shù) ≥ 7 的論文。接下來使用 pdf2image 工具將下載的論文 PDF 文件轉(zhuǎn)換成圖像。最后進(jìn)行數(shù)據(jù)預(yù)處理，移除論文首頁上方的頁眉，以防止數(shù)據(jù)泄露，避免分類器過度注意頁眉區(qū)域而忽略論文的整體視覺外觀。

表 1：計算機(jī)視覺論文版面（Computer Vision Paper Gestalt，CVPG）數(shù)據(jù)集。

圖 3：CVPG 數(shù)據(jù)集中的隨機(jī)樣本示例。從上圖可見，workshop 論文和大會論文在論文整體版面設(shè)計上是有區(qū)別的。該研究的目的是利用深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)這些模式的表征。

實(shí)驗(yàn)設(shè)置

本研究使用 CVPR 2018 的正負(fù)樣本作為測試集，2013-2017 年的大會／workshop 論文作為訓(xùn)練集，使用 ResNet-18（在 ImageNet 數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練）作為分類網(wǎng)絡(luò)。

研究者將 ImageNet 數(shù)據(jù)集的 1000 個類別分類換成兩個輸出節(jié)點(diǎn)（好論文／壞論文）。然后運(yùn)用遷移學(xué)習(xí)技術(shù)，使用隨機(jī)梯度下降對該預(yù)訓(xùn)練模型進(jìn)行微調(diào)以適應(yīng) CVPG 數(shù)據(jù)集，動量設(shè)為 0.9，訓(xùn)練 epoch 設(shè)為 50，初始學(xué)習(xí)率設(shè)為 0.001，然后每 10 個 epoch 學(xué)習(xí)率衰減 0.1。為了適應(yīng)類別不均衡的訓(xùn)練數(shù)據(jù)，研究者使用加權(quán)交叉熵?fù)p失，并將訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)中所有圖像的大小調(diào)整為 224 × 224 像素。訓(xùn)練過程中未使用標(biāo)準(zhǔn)的數(shù)據(jù)增強(qiáng)技術(shù)（如隨機(jī)剪裁、水平翻轉(zhuǎn)或光度變換），以保持整篇論文的原始視覺內(nèi)容和排版。該網(wǎng)絡(luò)在 NVIDIA Titan V100 GPU 上訓(xùn)練，訓(xùn)練時間不到 30 分鐘。

實(shí)驗(yàn)結(jié)果

圖 4：訓(xùn)練出的論文分類器的性能特征。x 軸表示假正率（壞論文被誤判為好論文的比例）；y 軸表示假負(fù)率（好論文被誤判為壞論文的比例）。

圖 5：壞論文的特定類別判別區(qū)域。（上）論文不足 8 頁是壞論文的特征之一。（下）生成的熱圖集中在第一頁的右上角。這表明，前兩頁缺乏示意圖可能導(dǎo)致論文更難懂。

圖 6：好論文的特定類別判別區(qū)域。由類激活映射（class activation mapping，CAM）生成的熱圖突出了好論文的特定區(qū)域，例如第一頁解釋核心觀點(diǎn)的信息圖、展示實(shí)驗(yàn)驗(yàn)證細(xì)節(jié)的圖表、令人印象深刻的數(shù)學(xué)公式，以及來自基準(zhǔn)數(shù)據(jù)集的彩色圖像陣列。

圖 7：本論文的分類結(jié)果。研究者把訓(xùn)練出的分類器應(yīng)用到本論文，結(jié)果網(wǎng)絡(luò)以極高的概率（超過 97%）無情地拒絕了此論文，表明其不需要同行評審。

優(yōu)化論文版面

除了對論文進(jìn)行分類，強(qiáng)調(diào)判別區(qū)域，該研究還提供更多的建議，幫助論文作者改進(jìn)所提交論文的版面。

圖 8：隨機(jī)生成的好論文樣本。這些隨機(jī)樣本捕捉到了好論文的版面模式：論文開頭有解釋性質(zhì)的圖、論文中有彩色圖像，以及文本、數(shù)學(xué)公式、圖表的均衡布局。

圖 9：使用 CycleGAN 進(jìn)行論文增強(qiáng)。訓(xùn)練出的 bad-to-good paper 模型可用做論文修改輔助工具，為作者提供建議。典型的建議包括在前面增加信息圖、把圖做得色彩更加豐富、最后一頁寫滿，使其看起來是一篇好論文。上圖是壞論文逐漸調(diào)整為好論文的動畫演示（最好使用 Adobe Acrobat Reader 查看）。

機(jī)器之心CES 2019專題報道即將到來，歡迎大家積極關(guān)注。

點(diǎn)擊「閱讀原文」查看機(jī)器之心專題頁。

總結(jié)

以上是生活随笔為你收集整理的用外观判断论文好坏？这位顶会领域主席的论文被自己的AI审稿系统拒绝了的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。