你以為的學(xué)術(shù)頂級會議期刊審稿人，都是來自各自領(lǐng)域的大牛？

事實(shí)上，你辛辛苦苦幾個月做的研究論文，審稿人很有可能是一群本科生或研究生？

最近，來自洛桑聯(lián)邦理工學(xué)院（école polytechnique fédérale de Lausanne (EPFL)）的女物理學(xué)家Lenka Zdeborova就在推特上吐槽頂會的審稿人機(jī)制。

研究生院的申請人就已經(jīng)有頂會審稿經(jīng)驗(yàn)？而且數(shù)量還不少。

我正在審查EPFL計算機(jī)科學(xué)研究生院的申請，我看到許多申請人都有擔(dān)任頂級ML會議審稿人的經(jīng)驗(yàn)，我想知道如果同行評議的很大一部分是由本科生完成的，我們?yōu)槭裁催€要費(fèi)心去進(jìn)行同行評議?。?/span>

Lenka Zdeborová是EPFL的物理學(xué)和計算機(jī)科學(xué)教授，她領(lǐng)導(dǎo)計算機(jī)學(xué)院的統(tǒng)計物理學(xué)科。

她是Journal of Physics A、Physical Review E、Physical Review X、SIMODS、Machine Learning: Science and Technology、Information and Inference等眾多學(xué)術(shù)期刊的編委。

Lenka擅長的領(lǐng)域是將統(tǒng)計物理學(xué)的概念（例如高級平均場方法、復(fù)制方法和相關(guān)消息傳遞算法）應(yīng)用于機(jī)器學(xué)習(xí)、信號處理、推理和優(yōu)化中的問題。

一些圈內(nèi)人士也表示贊同，研究生一年級的學(xué)生竟然已經(jīng)可以在頂會審稿，而且沒有人覺得這是個問題。

你以為的審稿人是這些學(xué)界大佬，事實(shí)上其實(shí)是他們帶的本科生或研究生......

知乎答主「卡卡卡卡比」認(rèn)為這種現(xiàn)象已經(jīng)是司空見慣了，從ICLR到AAAI,審稿人的水平參差不齊，保不齊你的paper就落到了某個本科生手里。

抱怨完審稿人水平之后，關(guān)鍵還是要思考如何能夠?qū)懗鲎尨蠹襪ake sense并且能兼顧大多人審稿taste的工作。

來源：卡卡卡卡比

另一位答主「歇斯底里i」也認(rèn)為，審稿人很少懂你的領(lǐng)域，所以你要把論文的結(jié)果清晰明了地呈現(xiàn)出來，讓別人看不懂就是你的問題了。

來源：歇斯底里i

頂會審稿到底怎么審

那么頂會審稿究竟怎么審？

同行評審（Peer-review）是現(xiàn)代科學(xué)的基石，幾乎所有機(jī)器學(xué)習(xí) (ML) 頂會（如NeurIPS、ICML、AAAI）都依靠它來決定提交的論文是否與社區(qū)相關(guān)，以及原創(chuàng)性是否足以在那里發(fā)表。

不幸的是，隨著過去十年提交文章數(shù)量呈指數(shù)級增長，審稿質(zhì)量也以同樣快的速度下降。

如果您曾經(jīng)向其中一個會議提交過論文，在為您認(rèn)為是一個絕妙的想法而努力工作了幾個月之后，您得到的是糟糕的、無用的，而且（更糟糕的是 ) 具有諷刺意味的評論意味著你將不得不重新經(jīng)歷一次提交過程，而沒有任何關(guān)于你的論文存在什么問題的提示。

圖靈獎獲得者Geoffrey Hinton在2018年接受 Wired 雜志采訪時給出了造成這種情況的原因之一：

現(xiàn)在如果你提交的論文有一個全新的想法，它根本就沒有機(jī)會被接受，因?yàn)檫@些年輕的初級審稿人根本無法理解。

或者它會遇到一位高級審稿人，他審閱了太多的論文，第一次看并不理解，并認(rèn)為它一定是胡說八道。我認(rèn)為這真的很糟糕。

知乎答主電光幻影煉金術(shù)對審稿被拒做了個假設(shè)，如果你發(fā)現(xiàn)你的論文因?yàn)橐恍└拍顔栴}審稿人沒理解被給了低分，有三種可能：

（1）審稿人是個本科生/低年級博士生，他看不懂這些概念。

（2）審稿人是個超級大佬，他很重視基礎(chǔ)概念問題，并且他已經(jīng)不做這個領(lǐng)域多年。

（3）審稿人是個超級大佬，但他沒有時間，他交給了他的低年級博士學(xué)生來審稿。所以說，學(xué)術(shù)圈就是一個輪回，本科生的表現(xiàn)和超級大佬最像。

• 你以為理想中的審稿人：

周一打開論文，看看摘要，速讀一遍，評估一下novelty。周二細(xì)細(xì)看方法，挑挑毛病。周三看一下實(shí)驗(yàn)，看看baseline的相關(guān)論文，查對實(shí)驗(yàn)細(xì)節(jié)。周四開始寫審稿意見，決定審稿分?jǐn)?shù)。周五補(bǔ)充一些審稿意見，提交審稿分?jǐn)?shù)。

• 實(shí)際審稿人：

周一上午八點(diǎn)打開審稿論文，讀了讀摘要，感覺沒什么novelty。看了看圖片，感覺不看正文看不明白。翻到后面看了看實(shí)驗(yàn)數(shù)字，感覺提升也不大?？纯捶椒?，四頁好多看不完。下午還有事，給個5分走人吧。周一上午十一點(diǎn)半結(jié)束審稿工作。

我們再來看看ICML2022的審稿規(guī)則：

• 選題意義：

這部分評審的目的是向MR（Meta-reviewer）和作者展示您對這篇論文的理解程度以及您對這篇論文的看法。

• 寫作創(chuàng)新性、相關(guān)性、重要性：

它們與我們的社區(qū)相關(guān)嗎？它們是新的嗎？如果答案是否定的（或部分否，例如，引用早期論文中的精確結(jié)果），則需要一個精確的理由，以便作者知道如何修復(fù)論文。

• 健全性：

理想情況下，一篇論文提出的主張應(yīng)該得到理論論據(jù)或?qū)嶒?yàn)結(jié)果的充分支持。

• 寫作質(zhì)量：

這篇論文是否組織良好并且寫得很清楚？它是否很好地解釋了新穎性和結(jié)果？該論文是否包含支持其聲明所需的足夠信息？

• 參考文獻(xiàn)：

這篇論文是否被恰當(dāng)?shù)刂糜诋?dāng)代文學(xué)中？如果沒有，請具體說明缺少的內(nèi)容。請注意，由于論文有頁數(shù)限制，因此通常需要判斷是否應(yīng)提及結(jié)果。

而這些屬于第一階段審稿人的審核標(biāo)準(zhǔn)，符合審核標(biāo)準(zhǔn)的則可以進(jìn)入第二階段。

通過第一階段的論文，會再經(jīng)過元審稿人（MR）、項目主席過目，之后還會有額外的審稿人來確保論文審核質(zhì)量。

而為什么現(xiàn)在的頂會審稿人的水平參差不齊，甚至冒出了一群本科生和研究生，原因主要在于行業(yè)發(fā)展太快，投稿量的增加速度遠(yuǎn)高于合格審稿人的培養(yǎng)速度。

這不僅導(dǎo)致有能力審稿的人占比少了，而且有能力的審稿的人對每篇文章能投入的時間也少了。