點擊上方“視學算法”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

本文來源：新智元

與大多數(shù)學科不同，在計算機科學領(lǐng)域，會議論文的分量比期刊論文分量更重。

有趣的是，現(xiàn)在的CS頂會們，似乎對「接收率」有一種近乎偏執(zhí)的追求。

好像這個數(shù)字越低，自己就越厲害一樣。

舉個例子：

IJCAI的接收率，在2019年突破20%大關(guān)，達到了17.9%。并在次年以12.6%的接收率，刷新了最低紀錄。此后的兩年，接收率有所回升，分別為13.9%和15%（大約）。

對此，來自加利福尼亞大學伯克利分校的Edward Lee教授，在發(fā)表于ACM SIGBED博客上的一篇文章中指出，這種「有毒的文化」已經(jīng)開始在CS領(lǐng)域蔓延了。

拒稿率越高，會議就越頂？

越來越多的人覺得，拒稿率越高，接收率越低，會議就越頂。

很多時候，我們已經(jīng)把「低接收率」作為評價會議質(zhì)量的一個重要指標，有時甚至是首要標準。許多頂會現(xiàn)在都以10%級別的低接收率為榮。

雖然適當控制論文接收率，可以避免一些「江湖騙子」廣撒網(wǎng)式的投稿泛濫，但從文化上講，這種以「多拒稿為榮」的文化，實際上助長了一種互相攻擊的氛圍。PC的目標已經(jīng)變成了破壞，而不是發(fā)展。

接收率這么低，真的合理嗎？

我所服務的會議并沒有吸引很多江湖騙子的投稿。被拒掉多數(shù)論文都是認真的努力，需要大量的背景工作，往往是由最有前途的年輕人做的。

僅僅從我最近擔任的一個PC來看，有一些專家評審認為 「寫得很好......與會議主題高度相關(guān)的有趣主題」的論文，付出了 「了不起的努力」，但最后還是被拒了。

因為目前的審稿機制實際上是挑刺式審稿，即找到拒稿的理由，而不是找接收的理由。有時一個審稿人的一條負面評價，論文就被拒了。

一個最常用的拒稿理由是「不夠新穎」 。

我們當然首先希望論文能夠提供新信息，而不僅僅是過去研究的重復。但是，這個「新穎」的判定標準和使用方式有幾個問題。

首先，我們中的許多人使用了實際已經(jīng)過時的科學概念，即：把一個學科的進步視為新事實的增加。發(fā)文章的目的變成了將這些新事實「歸檔」，而不是用來啟發(fā)、教育和告知社會。

在達爾文主張的進化過程中，大多數(shù)突變（新事物）都是有害的，不會在生態(tài)系統(tǒng)中持續(xù)存在。技術(shù)領(lǐng)域也是如此。大多數(shù)真正的新想法都是不好的，不會存活。那為什么要把追求「新意」作為最高目標？

恰恰相反，大多數(shù)好的想法在走向普及之前會被重新發(fā)明多次。需要反復強化，才能在文化中建立起來。而我們的審稿，卻把它們扼殺掉了。

更糟的是，這種對「新穎」的追求，讓我們幾乎拒絕了所有的系統(tǒng)性論文，建立任何系統(tǒng)都需要整合大量的現(xiàn)有技術(shù)，而所有這些現(xiàn)有技術(shù)對審稿人來說都是熟悉的，并以「新穎不足」被拒掉。

對「新穎性」如此看重另一個原因是傳統(tǒng)。過去，發(fā)表文章的成本很高，發(fā)表任何重復的東西，其代價就是要犧牲其他可發(fā)表的內(nèi)容。但今天，發(fā)文章基本上是免費的。

另外，過去的知識學科規(guī)模小，共享一些業(yè)內(nèi)公認的標準。現(xiàn)在的CS社區(qū)缺乏這樣的普遍標準。有時候，在三名不熟悉現(xiàn)有技術(shù)的審稿人看來，一些論文是「有新意」的，實則不然。

強調(diào)新意的一個更站得住腳的理由是，審稿人不想浪費讀者和參會者的時間，告訴他們已經(jīng)知道的東西。然而，他們沒意識到，對于大多數(shù)有新意的論文，他們甚至不想知道。想想看，如果我們接受有趣的論文而不是新穎的論文，現(xiàn)在的計算機學術(shù)會議會有多不一樣。

第二個常用的拒稿理由是「顯而易見」。

實際上，大多數(shù)好的想法在回想起來都是顯而易見的，而我們在遇到這樣的想法時，很難意識到剛剛已經(jīng)學到了什么。我們的反應都是：「哦，是的，當然，的確如此」。卻沒有意識到一小時前，還根本沒有想到這個點子。

我們偏愛深奧的、難以閱讀的和晦澀的東西。如果一篇論文很容易讀，就被認為是「顯而易見」的，被接收的可能性很小。

另一個問題是內(nèi)在的利益沖突，這種沖突一方面來自于低接收率，另一方面是因為許多審稿人和PC也要發(fā)論文，有其他額外的動機來拒掉手頭審稿的論文，以提高他們自己論文被接受的機會。

雙盲評審的一個重大缺陷是，審稿人掌握權(quán)力，但不用負責任。

如果你發(fā)過論文，肯定遇見過那些傲慢和錯誤的批評意見。但由于論文是提交給會議，而不是期刊，作者回應審稿人的機會是非常有限的。

有些會議在評審過程中有一個 「申辯」（Rebuttal）階段，但據(jù)我的經(jīng)驗，大部分情況下這只是個擺設，很少能起到什么實際作用。

這種審稿中的「拒絕文化」產(chǎn)生了嚴重的不利影響。這個領(lǐng)域里有前途的年輕人被拒絕了一次又一次。如果他們頑強地堅持下去，也許多年后可以熬出頭。但很多人選擇了放棄，離開學術(shù)界或完全轉(zhuǎn)了行。這不能不說是個悲劇。

現(xiàn)在的審稿機制，向作者提倡的是固執(zhí)和堅持，而不是質(zhì)量，而且越來越嚴重。

在經(jīng)歷了多輪拒稿后，年輕的研究人員最終成為PC，他們自然會產(chǎn)生這樣的想法：我當年遭過的罪，要讓現(xiàn)在這些作者都受一遍。這倡導的到底是學術(shù)審稿，還是學術(shù)欺凌？

退一步講，壓低接收率，對于投稿泛濫的現(xiàn)象真的能遏制嗎？

目前的學術(shù)界奉行的是「不發(fā)表就毀滅」的文化，所有人都以盡可能多發(fā)論文為目標，會議接收率低，怎么辦？改，改完繼續(xù)投。

但通常情況下，被拒的論文作者不會就此放棄。論文會被修改、重新提交，直到被接受。因此，PC成員被要求在幾天內(nèi)審查大量論文，以至于根本無法很好地完成任務。拒掉大部分的論文，只會導致下一群PC有更多的論文要審。

我們該怎么做？

文化很難改變。但我們可以共同努力，尋找那些有趣的、有指導意義的、有用的或?qū)ξ覀兩鐓^(qū)有影響的論文。我們當然應該只發(fā)表高質(zhì)量的論文，但今天，我們拒絕了許多高質(zhì)量的論文。

有些在審稿制度上的新思路可以緩解一些問題。包括在接受或拒絕論文時公開審稿人的名字；將每篇投稿、審稿和作者的rebuttal存檔；將審稿意見和rebuttal與論文一起發(fā)表。

上面的最后一項意見，可以在不影響大會論文質(zhì)量的情況下，允許一些有小缺陷的論文發(fā)表。而對論文中潛在缺陷的討論，也可以作為論文內(nèi)容的一部分。

如果你在PC上任職，你應該認為匿名的作者是你的同事、博士生和朋友，而不是陌生人。雙盲評審過程消除了過去可能影響我們評審的自然偏見，包括根據(jù)性別拒絕或接受來自「更好」機構(gòu)的傾向。但我們已經(jīng)用全面的拒絕傾向取代了這些偏見。

另外，作為審稿人，應該更謹慎地使用「不夠新穎」作為拒稿理由。幾乎沒有什么有價值的東西是真正新的，許多好的想法需要反復強化才能流行起來。讓我們關(guān)注論文對社區(qū)的貢獻，而不是對事實「歸檔」的貢獻。

作者介紹

Edward A. Lee從1986就開始在加利福尼亞大學伯克利分校任教，現(xiàn)在是UCB研究生院的教授以及Robert S. Pepper電氣工程和計算機科學（EECS）的榮譽教授。

Lee教授是IEEE的研究員，曾獲得1997年Frederick Emmons Terman工程教育獎，2016年IEEE實時系統(tǒng)技術(shù)委員會（TCRTS）的杰出技術(shù)成就和領(lǐng)導獎，2018年伯克利獎，2019年IEEE網(wǎng)絡物理系統(tǒng)技術(shù)委員會（TCCPS）技術(shù)成就獎，以及2022年歐洲設計與自動化協(xié)會（EDAA）成就獎。

Lee教授的研究方向網(wǎng)絡物理系統(tǒng)，該系統(tǒng)將物理動力學與軟件和網(wǎng)絡相結(jié)合。研究重點是使用確定性模型作為此類系統(tǒng)的工程工具包的核心部分。

2005-2008年，Lee教授曾擔任加利福尼亞大學伯克利分校EE部門的主席，然后是EECS部門的主席。他領(lǐng)導開發(fā)了幾個有影響力的開源軟件包，特別是Ptolemy和Lingua Franca。

至今，Lee教授共計發(fā)表了數(shù)百篇論文和技術(shù)報告，在世界各地做了200多場主題演講，著有7本書，并帶出了40名博士。

Lee教授于1979年在耶魯大學獲得學士學位，主修計算機科學和工程及應用科學雙學位，1981年在麻省理工學院獲得EECS碩士學位，1986年在加州大學伯克利分校獲得EECS博士學位。

Lee教授是BDTI公司的創(chuàng)始人之一，目前是該公司的高級技術(shù)顧問，并為其他一些公司提供咨詢。此前，他曾在1979年到1982年之間，擔任貝爾實驗室先進數(shù)據(jù)通信實驗室的技術(shù)員。

網(wǎng)友評論

對此，一位最近擔任了接收率約為15%的頂會（不難猜到是哪個）的程序主席辯解稱：

如果一個會議的目標不僅僅是為了「認證 」某些研究，而是鼓勵發(fā)現(xiàn)和知識交流，以深化特定領(lǐng)域。這意味著不光是要選擇好的東西，還要選擇那些能與其他演講/與會者/研究課題產(chǎn)生最佳共鳴的。

一個會議開始時可能沒有很大的聲望，但如果發(fā)表的論文開始產(chǎn)生影響，它便可以催化整個子領(lǐng)域的工作。有些會議就與「新穎性」掛鉤——ACM學術(shù)會議；有些則與「漸進式進步」掛鉤——安全領(lǐng)域的行業(yè)會議，如Usenix Security；有些與「最佳解釋思路」掛鉤——如Enigma。

一位自稱在圈內(nèi)很有名的網(wǎng)友，對上面那位PC的觀點進行了駁斥。

他表示，自己寫論文的目的是要看到它們被傳播。頂會上接收/拒絕的過程，可謂是無稽之談，畢竟有研究表明它基本就上是隨機的。而且從評論就可以看出，有很多審稿人就沒讀過論文。而很多質(zhì)量非常高的工作，也都會因此被砍掉。

這種通過低錄取率來尋求聲望的自負行為，讓那些有更好的事情可做的人離開了，研究的傳播也被放緩了。

另一位網(wǎng)友指出，可悲的是，審稿人「太長，不看」這種情況，是普遍存在的。

我們不得不經(jīng)常向編輯呼吁：「審稿人說我們沒有指出的問題，在第X節(jié)！給我們換一個審稿人吧」。

參考資料：

https://sigbed.org/2022/08/22/the-toxic-culture-of-rejection-in-computer-science/

點個在看 paper不斷！

總結(jié)

以上是生活随笔為你收集整理的顶会竟然攀比起了拒稿率？教授发文怒斥「挑刺式审稿」的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。