點(diǎn)擊上方“視學(xué)算法”，選擇加"星標(biāo)"或“置頂”

重磅干貨，第一時(shí)間送達(dá)

本文來源：新智元

與大多數(shù)學(xué)科不同，在計(jì)算機(jī)科學(xué)領(lǐng)域，會(huì)議論文的分量比期刊論文分量更重。

有趣的是，現(xiàn)在的CS頂會(huì)們，似乎對(duì)「接收率」有一種近乎偏執(zhí)的追求。

好像這個(gè)數(shù)字越低，自己就越厲害一樣。

舉個(gè)例子：

IJCAI的接收率，在2019年突破20%大關(guān)，達(dá)到了17.9%。并在次年以12.6%的接收率，刷新了最低紀(jì)錄。此后的兩年，接收率有所回升，分別為13.9%和15%（大約）。

對(duì)此，來自加利福尼亞大學(xué)伯克利分校的Edward Lee教授，在發(fā)表于ACM SIGBED博客上的一篇文章中指出，這種「有毒的文化」已經(jīng)開始在CS領(lǐng)域蔓延了。

拒稿率越高，會(huì)議就越頂？

越來越多的人覺得，拒稿率越高，接收率越低，會(huì)議就越頂。

很多時(shí)候，我們已經(jīng)把「低接收率」作為評(píng)價(jià)會(huì)議質(zhì)量的一個(gè)重要指標(biāo)，有時(shí)甚至是首要標(biāo)準(zhǔn)。許多頂會(huì)現(xiàn)在都以10%級(jí)別的低接收率為榮。

雖然適當(dāng)控制論文接收率，可以避免一些「江湖騙子」廣撒網(wǎng)式的投稿泛濫，但從文化上講，這種以「多拒稿為榮」的文化，實(shí)際上助長了一種互相攻擊的氛圍。PC的目標(biāo)已經(jīng)變成了破壞，而不是發(fā)展。

接收率這么低，真的合理嗎？

我所服務(wù)的會(huì)議并沒有吸引很多江湖騙子的投稿。被拒掉多數(shù)論文都是認(rèn)真的努力，需要大量的背景工作，往往是由最有前途的年輕人做的。

僅僅從我最近擔(dān)任的一個(gè)PC來看，有一些專家評(píng)審認(rèn)為 「寫得很好......與會(huì)議主題高度相關(guān)的有趣主題」的論文，付出了 「了不起的努力」，但最后還是被拒了。

因?yàn)?strong>目前的審稿機(jī)制實(shí)際上是挑刺式審稿，即找到拒稿的理由，而不是找接收的理由。有時(shí)一個(gè)審稿人的一條負(fù)面評(píng)價(jià)，論文就被拒了。

一個(gè)最常用的拒稿理由是「不夠新穎」 。

我們當(dāng)然首先希望論文能夠提供新信息，而不僅僅是過去研究的重復(fù)。但是，這個(gè)「新穎」的判定標(biāo)準(zhǔn)和使用方式有幾個(gè)問題。

首先，我們中的許多人使用了實(shí)際已經(jīng)過時(shí)的科學(xué)概念，即：把一個(gè)學(xué)科的進(jìn)步視為新事實(shí)的增加。發(fā)文章的目的變成了將這些新事實(shí)「歸檔」，而不是用來啟發(fā)、教育和告知社會(huì)。

在達(dá)爾文主張的進(jìn)化過程中，大多數(shù)突變（新事物）都是有害的，不會(huì)在生態(tài)系統(tǒng)中持續(xù)存在。技術(shù)領(lǐng)域也是如此。大多數(shù)真正的新想法都是不好的，不會(huì)存活。那為什么要把追求「新意」作為最高目標(biāo)？

恰恰相反，大多數(shù)好的想法在走向普及之前會(huì)被重新發(fā)明多次。需要反復(fù)強(qiáng)化，才能在文化中建立起來。而我們的審稿，卻把它們扼殺掉了。

更糟的是，這種對(duì)「新穎」的追求，讓我們幾乎拒絕了所有的系統(tǒng)性論文，建立任何系統(tǒng)都需要整合大量的現(xiàn)有技術(shù)，而所有這些現(xiàn)有技術(shù)對(duì)審稿人來說都是熟悉的，并以「新穎不足」被拒掉。

對(duì)「新穎性」如此看重另一個(gè)原因是傳統(tǒng)。過去，發(fā)表文章的成本很高，發(fā)表任何重復(fù)的東西，其代價(jià)就是要犧牲其他可發(fā)表的內(nèi)容。但今天，發(fā)文章基本上是免費(fèi)的。

另外，過去的知識(shí)學(xué)科規(guī)模小，共享一些業(yè)內(nèi)公認(rèn)的標(biāo)準(zhǔn)。現(xiàn)在的CS社區(qū)缺乏這樣的普遍標(biāo)準(zhǔn)。有時(shí)候，在三名不熟悉現(xiàn)有技術(shù)的審稿人看來，一些論文是「有新意」的，實(shí)則不然。

強(qiáng)調(diào)新意的一個(gè)更站得住腳的理由是，審稿人不想浪費(fèi)讀者和參會(huì)者的時(shí)間，告訴他們已經(jīng)知道的東西。然而，他們沒意識(shí)到，對(duì)于大多數(shù)有新意的論文，他們甚至不想知道。想想看，如果我們接受有趣的論文而不是新穎的論文，現(xiàn)在的計(jì)算機(jī)學(xué)術(shù)會(huì)議會(huì)有多不一樣。

第二個(gè)常用的拒稿理由是「顯而易見」。

實(shí)際上，大多數(shù)好的想法在回想起來都是顯而易見的，而我們在遇到這樣的想法時(shí)，很難意識(shí)到剛剛已經(jīng)學(xué)到了什么。我們的反應(yīng)都是：「哦，是的，當(dāng)然，的確如此」。卻沒有意識(shí)到一小時(shí)前，還根本沒有想到這個(gè)點(diǎn)子。

我們偏愛深?yuàn)W的、難以閱讀的和晦澀的東西。如果一篇論文很容易讀，就被認(rèn)為是「顯而易見」的，被接收的可能性很小。

另一個(gè)問題是內(nèi)在的利益沖突，這種沖突一方面來自于低接收率，另一方面是因?yàn)樵S多審稿人和PC也要發(fā)論文，有其他額外的動(dòng)機(jī)來拒掉手頭審稿的論文，以提高他們自己論文被接受的機(jī)會(huì)。

雙盲評(píng)審的一個(gè)重大缺陷是，審稿人掌握權(quán)力，但不用負(fù)責(zé)任。

如果你發(fā)過論文，肯定遇見過那些傲慢和錯(cuò)誤的批評(píng)意見。但由于論文是提交給會(huì)議，而不是期刊，作者回應(yīng)審稿人的機(jī)會(huì)是非常有限的。

有些會(huì)議在評(píng)審過程中有一個(gè) 「申辯」（Rebuttal）階段，但據(jù)我的經(jīng)驗(yàn)，大部分情況下這只是個(gè)擺設(shè)，很少能起到什么實(shí)際作用。

這種審稿中的「拒絕文化」產(chǎn)生了嚴(yán)重的不利影響。這個(gè)領(lǐng)域里有前途的年輕人被拒絕了一次又一次。如果他們頑強(qiáng)地堅(jiān)持下去，也許多年后可以熬出頭。但很多人選擇了放棄，離開學(xué)術(shù)界或完全轉(zhuǎn)了行。這不能不說是個(gè)悲劇。

現(xiàn)在的審稿機(jī)制，向作者提倡的是固執(zhí)和堅(jiān)持，而不是質(zhì)量，而且越來越嚴(yán)重。

在經(jīng)歷了多輪拒稿后，年輕的研究人員最終成為PC，他們自然會(huì)產(chǎn)生這樣的想法：我當(dāng)年遭過的罪，要讓現(xiàn)在這些作者都受一遍。這倡導(dǎo)的到底是學(xué)術(shù)審稿，還是學(xué)術(shù)欺凌？

退一步講，壓低接收率，對(duì)于投稿泛濫的現(xiàn)象真的能遏制嗎？

目前的學(xué)術(shù)界奉行的是「不發(fā)表就毀滅」的文化，所有人都以盡可能多發(fā)論文為目標(biāo)，會(huì)議接收率低，怎么辦？改，改完繼續(xù)投。

但通常情況下，被拒的論文作者不會(huì)就此放棄。論文會(huì)被修改、重新提交，直到被接受。因此，PC成員被要求在幾天內(nèi)審查大量論文，以至于根本無法很好地完成任務(wù)。拒掉大部分的論文，只會(huì)導(dǎo)致下一群PC有更多的論文要審。

我們該怎么做？

文化很難改變。但我們可以共同努力，尋找那些有趣的、有指導(dǎo)意義的、有用的或?qū)ξ覀兩鐓^(qū)有影響的論文。我們當(dāng)然應(yīng)該只發(fā)表高質(zhì)量的論文，但今天，我們拒絕了許多高質(zhì)量的論文。

有些在審稿制度上的新思路可以緩解一些問題。包括在接受或拒絕論文時(shí)公開審稿人的名字；將每篇投稿、審稿和作者的rebuttal存檔；將審稿意見和rebuttal與論文一起發(fā)表。

上面的最后一項(xiàng)意見，可以在不影響大會(huì)論文質(zhì)量的情況下，允許一些有小缺陷的論文發(fā)表。而對(duì)論文中潛在缺陷的討論，也可以作為論文內(nèi)容的一部分。

如果你在PC上任職，你應(yīng)該認(rèn)為匿名的作者是你的同事、博士生和朋友，而不是陌生人。雙盲評(píng)審過程消除了過去可能影響我們評(píng)審的自然偏見，包括根據(jù)性別拒絕或接受來自「更好」機(jī)構(gòu)的傾向。但我們已經(jīng)用全面的拒絕傾向取代了這些偏見。

另外，作為審稿人，應(yīng)該更謹(jǐn)慎地使用「不夠新穎」作為拒稿理由。幾乎沒有什么有價(jià)值的東西是真正新的，許多好的想法需要反復(fù)強(qiáng)化才能流行起來。讓我們關(guān)注論文對(duì)社區(qū)的貢獻(xiàn)，而不是對(duì)事實(shí)「歸檔」的貢獻(xiàn)。

作者介紹

Edward A. Lee從1986就開始在加利福尼亞大學(xué)伯克利分校任教，現(xiàn)在是UCB研究生院的教授以及Robert S. Pepper電氣工程和計(jì)算機(jī)科學(xué)（EECS）的榮譽(yù)教授。

Lee教授是IEEE的研究員，曾獲得1997年Frederick Emmons Terman工程教育獎(jiǎng)，2016年IEEE實(shí)時(shí)系統(tǒng)技術(shù)委員會(huì)（TCRTS）的杰出技術(shù)成就和領(lǐng)導(dǎo)獎(jiǎng)，2018年伯克利獎(jiǎng)，2019年IEEE網(wǎng)絡(luò)物理系統(tǒng)技術(shù)委員會(huì)（TCCPS）技術(shù)成就獎(jiǎng)，以及2022年歐洲設(shè)計(jì)與自動(dòng)化協(xié)會(huì)（EDAA）成就獎(jiǎng)。

Lee教授的研究方向網(wǎng)絡(luò)物理系統(tǒng)，該系統(tǒng)將物理動(dòng)力學(xué)與軟件和網(wǎng)絡(luò)相結(jié)合。研究重點(diǎn)是使用確定性模型作為此類系統(tǒng)的工程工具包的核心部分。

2005-2008年，Lee教授曾擔(dān)任加利福尼亞大學(xué)伯克利分校EE部門的主席，然后是EECS部門的主席。他領(lǐng)導(dǎo)開發(fā)了幾個(gè)有影響力的開源軟件包，特別是Ptolemy和Lingua Franca。

至今，Lee教授共計(jì)發(fā)表了數(shù)百篇論文和技術(shù)報(bào)告，在世界各地做了200多場主題演講，著有7本書，并帶出了40名博士。

Lee教授于1979年在耶魯大學(xué)獲得學(xué)士學(xué)位，主修計(jì)算機(jī)科學(xué)和工程及應(yīng)用科學(xué)雙學(xué)位，1981年在麻省理工學(xué)院獲得EECS碩士學(xué)位，1986年在加州大學(xué)伯克利分校獲得EECS博士學(xué)位。

Lee教授是BDTI公司的創(chuàng)始人之一，目前是該公司的高級(jí)技術(shù)顧問，并為其他一些公司提供咨詢。此前，他曾在1979年到1982年之間，擔(dān)任貝爾實(shí)驗(yàn)室先進(jìn)數(shù)據(jù)通信實(shí)驗(yàn)室的技術(shù)員。

網(wǎng)友評(píng)論

對(duì)此，一位最近擔(dān)任了接收率約為15%的頂會(huì)（不難猜到是哪個(gè)）的程序主席辯解稱：

如果一個(gè)會(huì)議的目標(biāo)不僅僅是為了「認(rèn)證 」某些研究，而是鼓勵(lì)發(fā)現(xiàn)和知識(shí)交流，以深化特定領(lǐng)域。這意味著不光是要選擇好的東西，還要選擇那些能與其他演講/與會(huì)者/研究課題產(chǎn)生最佳共鳴的。

一個(gè)會(huì)議開始時(shí)可能沒有很大的聲望，但如果發(fā)表的論文開始產(chǎn)生影響，它便可以催化整個(gè)子領(lǐng)域的工作。有些會(huì)議就與「新穎性」掛鉤——ACM學(xué)術(shù)會(huì)議；有些則與「漸進(jìn)式進(jìn)步」掛鉤——安全領(lǐng)域的行業(yè)會(huì)議，如Usenix Security；有些與「最佳解釋思路」掛鉤——如Enigma。

一位自稱在圈內(nèi)很有名的網(wǎng)友，對(duì)上面那位PC的觀點(diǎn)進(jìn)行了駁斥。

他表示，自己寫論文的目的是要看到它們被傳播。頂會(huì)上接收/拒絕的過程，可謂是無稽之談，畢竟有研究表明它基本就上是隨機(jī)的。而且從評(píng)論就可以看出，有很多審稿人就沒讀過論文。而很多質(zhì)量非常高的工作，也都會(huì)因此被砍掉。

這種通過低錄取率來尋求聲望的自負(fù)行為，讓那些有更好的事情可做的人離開了，研究的傳播也被放緩了。

另一位網(wǎng)友指出，可悲的是，審稿人「太長，不看」這種情況，是普遍存在的。

我們不得不經(jīng)常向編輯呼吁：「審稿人說我們沒有指出的問題，在第X節(jié)！給我們換一個(gè)審稿人吧」。

參考資料：

https://sigbed.org/2022/08/22/the-toxic-culture-of-rejection-in-computer-science/

點(diǎn)個(gè)在看 paper不斷！

總結(jié)

以上是生活随笔為你收集整理的顶会竟然攀比起了拒稿率？教授发文怒斥「挑刺式审稿」的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。