【学术会议】如何rebuttal学术论文?
點擊上方，選擇星標或置頂，每天給你送干貨！
閱讀大概需要27分鐘
跟隨小博主，每天進步一丟丟
深度強化學習實驗室報道
來源：https://zhuanlan.zhihu.com/p/104298923
作者：魏秀參? 編輯：DeepRL
最近，恰逢CVPR 2020 rebuttal之前，本文就rebuttle相關的內容進行總結，學術論文是發布自己或團隊最新研究進展正式且最快捷的途徑，也是和同行交流想法最方便、高效的方式。當同行評議（Peer review）作為學術成果正式發布的必經之路已運行200余年[1]時，用正確的姿勢進行review rebuttal便成為提高論文錄用機率甚至扭轉乾坤的最后一搏。本文從“What is peer review？”、“How to rebuttal?”及“Does rebuttal matter?”三部分來聊聊學術論文（主要針對人工智能領域會議和期刊）rebuttal的那些事。
||? What is peer review？
要想寫好rebuttal，必然要先了解peer review是怎么一回事。
“Peer review”趣圖（原圖來自網絡）
Peer review是一種學術成果審查程序，即作者的學術著作或proposal被同一領域的其他專家學者評審，并根據評審意見決定是否予以錄用（Accept）和后續正式發表（Publish）。對于計算機學科特別是人工智能領域的學術會議和期刊，其均有相對成熟和流程化的同行評議（即審稿）機制。
1.1 【會議審稿】
對于會議審稿流程而言，由于會議論文往往有比較嚴格的截止日期（Deadline），作者們通常會根據這一時間來rush自己的paper（關于論文寫作的一些tips請戳筆者早年的《LaTeX寫作新手須知》），所謂“Deadline就是第一生產力！”。待deadline一過，大會的程序委員會主席（Program Committee Chair或Program Chair）首先會剔除一批不符合會議投稿政策的論文，如：篇幅不合要求、一稿多投、未匿名、未注明Conflict Domain等，這些論文會直接作“Desk Reject”處理。處理之后的投稿（Submission）便為有效投稿。
這些稿件會由PC Chair根據一定規則（如TPMS[2]或bidding[3]）分配給高級程序委員會委員（Senior PC，IJCAI/AAAI一般是這個叫法）或領域主席（Area Chair，CVPR/ICCV/ECCV一般用此稱謂），這些人便是論文最終命運的判決者，也是在審稿最后時刻書寫meta review的meta reviewer——一般會由領域內頗有建樹、有判斷力的專家學者擔任。而后，這些meta reviewer會繼續分配稿件給到實際操刀審稿、給出具體審稿意見的審稿人（Reviewer）。對于CVPR/ICCV/ECCV等CV領域會議，近幾年每個AC負責的文章大約在30-50篇左右，而普通審稿人分配的稿件一般不超過10篇/人。以CVPR 2019為例，針對5160篇有效投稿，全球共召集了132位AC和2887位審稿人[4]，一共提交了超過15000條審稿意見，做到了平均一篇文章至少3條，其中一篇文章甚至有7條審稿意見之多。
在reviewer各自獨立提交審稿意見并經由AC檢查質量之后，絕大多數會議會將首輪意見開放給作者（目前Data Mining領域的KDD、ICDM等仍保持不設rebuttal環節的傳統），作者可根據意見內容進行rebuttal來更正審稿人理解的錯誤、解釋/澄清審稿人的疑慮、提供更多方法和實驗細節等信息。在收回作者rebuttal之后，同一篇文章的首輪意見、作者rebuttal信息均會開放給所有審稿人和責任AC，進入paper discussion環節。
Discussion時，AC會主持每篇文章的討論，每位審稿人根據其他審稿人意見和作者rebuttal會留言給其他審稿人。經過幾天系統線上討論，所有審稿人需更新自己最終意見。更新的意見以及整個討論過程，再加上AC自己的判斷會作為AC給予每篇論文生殺予奪的重要依據：若多數審稿人在rebuttal后提高了論文得分或保持accept認為可以接收，則文章有較大概率可被錄用；若多數審稿人在rebuttal后降分或保持reject，則這篇文章命運便岌岌可危。可以看到，rebuttal在整個論文錄用過程中起到了舉足輕重的作用——優秀的rebuttal能力挽狂瀾；無力的rebuttal則于事無補甚至會畫蛇添足、過猶不及。
特別的，CV領域的會議如CVPR/ICCV/ECCV等在AC給予最終決定時，有開線下AC meeting的傳統，即在paper discussion之后會選在某個城市線下召集所有AC共同決定了投稿的最終命運。一般而言，一篇文章是否錄用由三位（有時兩位）沒有conflict domain的AC共同決定，稱作“AC Triplet”。到此，每篇會議論文最終結果（錄用與否以及oral、poster、spotlight）便蓋棺定論，等待著PC Chair公布給如坐針氈的作者們。
1.2 【期刊審稿】
與會議論文相似，期刊論文也是由其他研究者進行同行評議之后決定是否予以錄用。不過期刊審稿由于沒有deadline（期刊的special issue除外），通常不會在較短時間集中接收到的非常多稿件。一般而言，接收到的稿件會由期刊主編（Editor-in-Chief）分配給副主編（Associate Editor），之后副主編會聘請一些相關的研究者作為審稿人進行評審，有時副主編本身也會負責論文的評審意見和推薦等工作。而最終決定論文是否錄用的仍然是期刊主編。
與會議論文不同的是，正是由于沒有明確的deadline，期刊審稿意見的“出爐”時間往往極不確定且普遍周期較長（3-8個月不等），第一輪評審之后審稿人一般會給出如下四種推薦意見之一：1）接收（Accept）；2）接收但需要微幅修改（Accept with a minor revision）；3）接收但需要大幅修改（Accept with a major revision，有些期刊如TNNLS則稱作Reject & Resubmit）；4）拒稿（Reject）。之后，副主編會根據若干審稿人的結果綜合評定給出meta review，若meta review意見為2）和3）中其一，作者便需要準備一個詳盡的revision list來對每位審稿人的意見逐條進行response和rebuttal，同時還需要提供修改過的文章供審稿人進行下一輪評審。同樣，和會議論文不同的是，會議論文這一的rebuttal過程最多只有一次。而期刊論文如此過程可以反復多次，更像一場你一言我一語的“交談”，最終直到全部審稿人均認為達到“Accept”的程度。但需注意，有的期刊major revision只有一輪，若經過一次major revision后的文章仍未達到錄用或minor revision標準，有時便會做拒稿處理。可見，有效的rebuttal/response對于期刊論文的錄用仍很關鍵。
|| How to rebuttal?
以上過程可看出，正規的會議和期刊同行評議過程非常嚴格、專業。更顯然的是，從論文提交時開始，作者們便處于弱勢，文章的主動權則全部移交給審稿人和AC聽憑其“處置”。Rebuttal作為整個peer review過程中少有甚至唯一的發聲機會，作者們可要牢牢把握！
2.1【知彼解己原則】
不論會議還是期刊，筆者以為，「知彼解己」——“首先去了解對方，然后再爭取讓對方了解自己”，是整個rebuttal過程中最為重要的一條原則。
作者在收到審稿意見后，通常情況不應將情緒和注意力完全放在抱怨和吐槽審稿人上（遇到不專業的審稿人除外，但更多情況中肯地講多為自己文章的問題），且不應站在審稿人的對立面，相反，更多的應去領會審稿人某句話背后的意圖，體會其心意，應試圖站在ta的角度去揣摩提出意見時的想法和心境，同時不要局限在可見審稿意見中寫的那么寥寥幾筆。只有練就這樣的“同理心”，才能在rebuttal時據理力爭，答在點子上，為自己扳回一城。
而且，從第一節的同行評議過程的描述可以看到，一個審稿人面對的稿件（尤其會議稿件）非常之多，需要ta在短短幾周且不影響本職工作的情況下完成高質量評審，這對于每位審稿人都是個不輕松的任務。事實上，許多審稿人（約50%以上[5]）會在審稿意見提交deadline的最后三天內完成評審，每篇工作在審稿人處花費的時間一定非常有限。如此，我們便需要根據有限的審稿意見來“管中窺豹“，對審稿人的喜好和傾向一探究竟、琢磨一二，這對于作者如何在rebuttal時“排兵布陣”、“設定應對戰略”尤為重要。
比如，若某期刊審稿人說“文章相對會議版本唯一區別僅在于增加了xxx，而xxx這部分帶來的性能增益非常有限”，實際背后含義是“嫌棄”作者僅incremental式增加不多的新東西就投遞到期刊，顯然不是審稿人沒有看懂新加的xxx部分內容的價值，或不了解作者的技術做法；對此，可以澄清“我們工作并不是trivial/simply的增加了xxx，它有自己的intuition和insight，基于這樣的獨特設計blabla“，同時還要針對性能質疑有所回應，做到有問必答：“增加xxx之后效果提升也較顯著，并不有限，blabla（列出證據說明增益是significant的，并不marginal）”。再比如，若某會議審稿人簡單指出“novelty有限”，同時并沒有提出更多細節性缺點，則說明可能ta挑來挑去并沒有找到非常明顯的“硬傷”。要知道每位審稿人預設的身份全是paper killer，他們總在千方百計尋找論文的漏洞和不足，找夠了便足以寫出review來宣判文章“死刑”。對于上述情況，便說明文章可能就是不對該審稿人的胃口，找不到具體的不足，只好拿novelty來說事。
審稿意見趣圖（來自Ming-Hsuan Yang‘s slides）
2.2 【Rebuttal形式】
如今眾多會議提供了非常多樣的rebuttal形式，會議rebuttal形式主要分為以下三種：
提交PDF文檔作為rebuttal（有頁數和模版限制，方便提交新表格和插圖，如CVPR/ICCV/ECCV）；
提交一段文本作為rebuttal（有字符數限制，不方便提交新表格和插圖，如AAAI/IJCAI）；
提交PDF文檔作為rebuttal，同時提交修改后的論文（重提交的文件有類似的政策限制，如WACV）。
其中，第三種rebuttal形式更像期刊，只是rebuttal輪數也僅控制在了一輪。作者需根據不同會議的政策規定提前調研和熟悉rebuttal形式，從而在rebuttal時應對自如。
2.3 【具體實操】
本節提供一些針對具體問題和情況的實操建議，供君參考：
Rebuttal時，針對不同review類型：
噴「novelty」：這類最為麻煩但也是作者們遇到可能最多的意見，作此類rebuttal時不妨重新梳理和強調文章的重要貢獻，然后澄清并不是trivial的簡單combine，再強調一下motivation和intuition，用另一種方式將文章亮點表達出來。同時，可以嘗試“圍魏救趙”，即：若審稿人針對方法的某個部件提出novelty不足，可強調其他部件或整個方法的范式是前所未有的；或claim說方法簡單有效，思路全然不同；
噴「factual error」：審稿人一旦找出文章的事實性錯誤，作者不妨大方承認，并表示感謝，同時表示會在final version中更正錯誤；另一種情況是，可能就是因為作者自己沒寫明白，才使得審稿人錯誤理解，如此，也可大方承認，說“我們已經修改了這部分描述，實際上是這樣做的，并不是你理解的那樣，blabla”；
噴「漲點不足」：此類一般有兩種，一則無證據的裸噴漲點不足；二則有證據（提供了reference）噴漲點不足或噴沒有對比reference中結果。針對一，可找些證據（如列reference）論證自己方法的漲點幅度和其他state-of-the-art的漲點幅度是可比的，“你看，別人發在頂會的結果相比baseline也是漲這么多”；針對二，可試著找出這些“證據”方法和自己方法的不同之處或實驗細節的不公平之處，比如圖像分辨率不同、backbone不同等；
噴「實驗不足」：有條件做實驗的，rebuttal中補上即可；若實驗規模太大，rebuttal期間無條件做出，可在rebuttal中承諾final version中補上（這樣力度會相對較弱）；而對于要求不合理的實驗意見，可實事求是的說明為何無需做實驗；
Rebuttal時不要漏點，要逐點回應做到有問必答。若因篇幅有限，可將類似的意見合成一點，萬不可因篇幅有限擅自刪除一些要點或遺漏要點，以免造成含糊不清、渾水摸魚之嫌，一旦被審稿人發現會在paper discussion階段當作硬傷來“置于死地”；此外，除非基本上全是positive評價，要充分利用rebuttal file的空間，充分表達自己觀點，力圖將所有評分均拉到positive區間確保十拿九穩；
Rebuttal時需要揣摩審稿人傾向，“一切可以團結的力量都要團結，不中立的可以爭取為中立，反動的也可以分化和利用”。有的審稿人會在意見中明確表示，“如果解決了xxx，我就會提升評分”，對此一定要充分爭取；對于某些審稿人提出的不足（如novelty），可能剛巧是另一位審稿人提出的優點（“This paper is interesting and novel”），一定要為我所用，讓兩位審稿人在paper discussion中“短兵相接”；對于borderline的審稿人，一定要充分“拉攏腐蝕”；對于初審給了positive分數的審稿人，一定要鞏固基礎；對于初審給了negative分數的審稿人，一定要放絕大多數的精力和rebuttal篇幅來解釋澄清，爭取“冰釋前嫌”；
Rebuttal是“一盤棋”，整篇rebuttal需要統籌協調，與正文、review配合的相得益彰，同時還需注意rebuttal篇幅資源的分配和優化。哪位審稿人應多分配筆墨、哪個問題應多著力回應都需要根據整體審稿意見情況深入思考、統籌安排；
Rebuttal中能縮寫的盡量縮寫，如約定俗成的PCA、CNN等不必展開，從而節省空間，將資源留給更需要的回應；
Rebuttal時若發現審稿人的factual error，如ta提出的某個觀點有顯然錯誤、提出需要對比的數據集顯然不是該領域常用的數據等，作者可在rebuttal回應此人時首先指出其錯誤，先下一城，贏得主動。要知道rebuttal除了該審稿人之外，其他審稿人以及AC都會看到。此外，這一問題還可以在AC message（見下文）中指出，降低該審稿人意見在AC心中的置信度；
……
2.4 【AC Message】
還記得上文中提到的只噴novelty而沒有其他細節問題的審稿人嗎？還記得在審稿意見中暴露factual error的審稿人嗎？……針對這些情況，作者手中仍有一件利器應對，即AC message（或Confidential comments to AC）。
Rebuttal時除了作者提交的rebuttal file之外，多數會議和期刊還為作者提供了一個直接與senior reviewer（如AC和AE）對話的渠道，在AI會議中通常被稱為“AC message”，這部分內容對普通reviewers是不可見的。作者如果在審稿意見中發現了審稿人的“問題”，如不專業、對文章涉及領域不熟悉、自我矛盾等，均可指出，從而引起AC注意。在期刊審稿過程中，遇到類似的問題還可通過AC message來嘗試更換審稿人。
以下列舉一些可能的AC message的寫法：
Please note that Assigned Reviewer #id has made some statements that are either against the common-sense in our field or self-contradictory (ironically his/her own confidence rating is "very confident"). blabla
We want to bring to your attention the very flawed review #id. This reviewer is self-contradictory, cf. Comment #id1, Comment #id2, and Response #id. blabla
We would like to raise attention to AC that unfortunately Reviewer #id holds a very biased view towards the contributions of our paper. blabla
2.5 【常用句式】
以下列舉一些rebuttal中的常用句式，供大家選擇使用：
開頭
Thank you for your suggestion.
Thank you for the positive/detailed/constructive comments.
We sincerely thank all reviewers and ACs for their time and efforts. Below please find the responses to some specific comments.
We thank the reviewers for their useful comments. The common questions are first answered, then we clarify questions from every individual review.
We thank the useful suggestions from the reviewers. Some important or common questions are first addressed, followed by answers to individual reviews.
表達同意
We thank the reviewer for pointing out this issue.
We agree with you and have incorporated this suggestion throughout our paper.
We have reflected this comment by …
We can/will add/compare/revise/correct ... in our revised manuscript/our final version.
Due to the rebuttal policy, “authors should not include new experimental results in the rebuttal”, additional results may not be included. However, we will add these mentioned experiments and discussions in our final version. Thank you for the constructive comment.（對于CVPR/ICCV/ECCV rebuttal不能提供新結果的政策）
表達不同意
We respectfully disagree with Reviewer #id that ...
The reviewer might have overlooked Table #id ...
We can compare ... but it is not quite related to our work ...
We have to emphasize that ...
The reviewer raises an interesting concern. However, our work ...
Thank you for the comment, but we cannot fully agree with the comment. As stated/emphasized ...
You have raised an important point; however, we believe that ... would be outside the scope of our paper because …
This is a valid assessment of …; however, we believe that ... would be more appropriate because ...
解釋澄清
We have indeed stated/ included/ discussed/ compared/ reported/ clarified/elaborated ... in our original paper ... (cf. Line #id).
As we stated in Line #id, ...
We have rewritten ... to be more in line with your comments. We hope that the edited p clarifies …
額外信息與解釋
We have included a new figure/table (cf. Figure/Table #id) to further illustrate…
We have supplemented the xxx p with explanations of ...
Thank you for the comment. We will explore this in future work.
|| Does rebuttal matter?
廢了好大功夫寫好了rebuttal，大家一定很忐忑這玩意兒到底能否奏效？
下圖是CVPR 2019總計超過15000條review在rebuttal前后的狀態對比統計。
很顯然：
「逆天改命」：首輪Strong Reject改為positive評分的僅占所有review的0.8%；
「強勢逆轉」：首輪Weak Reject改為positive評分的占所有review的6.9%；
「力挽狂瀾」：首輪Borderline改為positive評分的有33.6%；
「錯失良機」：首輪Borderline改為negative評分的約56%；
「畫蛇添足」：首輪Weak Accept改為negative評分的有15.5%；
「弄巧成拙」：首輪Strong Accept改為negative評分的有5.2%；
可見，rebuttal也乃盡人事聽天命之謂也。但小概率事情（如「逆天改命」）發生在自己身上那就是100%的獎賞，因此，下次拿到review后還是一門心思的想著怎么好好rebuttal吧:)
(完)
方便交流學習，備注：昵稱-學校（公司）-方向，進入DL&NLP交流群。
方向有很多：機器學習、深度學習，python，情感分析、意見挖掘、句法分析、機器翻譯、人機對話、知識圖譜、語音識別等。
記得備注呦
推薦閱讀：
【ACL 2019】騰訊AI Lab解讀三大前沿方向及20篇入選論文
【一分鐘論文】IJCAI2019 | Self-attentive Biaf?ne Dependency? Parsing
【一分鐘論文】 NAACL2019-使用感知句法詞表示的句法增強神經機器翻譯
【一分鐘論文】Semi-supervised Sequence Learning半監督序列學習
【一分鐘論文】Deep Biaffine Attention for Neural Dependency Parsing
詳解Transition-based Dependency parser基于轉移的依存句法解析器
經驗 | 初入NLP領域的一些小建議
學術 | 如何寫一篇合格的NLP論文
干貨?|?那些高產的學者都是怎樣工作的？
一個簡單有效的聯合模型
近年來NLP在法律領域的相關研究工作
讓更多的人知道你“在看”
總結
以上是生活随笔為你收集整理的【学术会议】如何rebuttal学术论文?的全部內容，希望文章能夠幫你解決所遇到的問題。
