每年AI領(lǐng)域的國(guó)際頂會(huì)，少不了「大事」發(fā)生。

前段時(shí)間，NeurIPS 2024論文評(píng)審結(jié)果終于出爐了，網(wǎng)友們開(kāi)始「拉群」吵成了一片。

這時(shí)，有網(wǎng)友爆出黑料：

「一些評(píng)審人嚴(yán)重貶低論文貢獻(xiàn)，用不合理的標(biāo)準(zhǔn)評(píng)判，甚至忽視論文相對(duì)于其他工作的實(shí)際改進(jìn)」

他認(rèn)為，這可能是競(jìng)品的作者，發(fā)現(xiàn)后做出不誠(chéng)實(shí)的評(píng)審。

就連LeCun大佬也來(lái)圍觀，立即轉(zhuǎn)發(fā)了該帖。

作為領(lǐng)域主席，我告訴作者：如果你遇到了這種情況，請(qǐng)聯(lián)系領(lǐng)域主席（AC）。

作為一個(gè)作者，我想問(wèn)：如何恰當(dāng)?shù)刂赋鲞@種行為，并在合法批評(píng)和過(guò)度把關(guān)之間找到平衡點(diǎn)？

另有網(wǎng)友放出NeurIPS評(píng)審員經(jīng)典評(píng)論：這個(gè)解決方案不是新的，并且已經(jīng)被大量研究過(guò)了。

今年，是NeurIPS第38屆年會(huì)，將于12月9日-15日在溫哥華召開(kāi)。

根據(jù)Paper Copilot收集的數(shù)據(jù)統(tǒng)計(jì)，截至目前，得分平均分布均在3-6分之間居多。

論文被打低分，究竟是誰(shuí)的問(wèn)題？

NeurIPS論文低分一片？

一位來(lái)自UT Austin的副教授，也是NeurIPS這屆頂會(huì)的領(lǐng)域主席（AC）之一，闡述了自己所看到的現(xiàn)象。

他表示，在自己負(fù)責(zé)的一批論文中，已提交了48篇中的16篇評(píng)審。

到目前為止，我還沒(méi)有看到一個(gè)正面評(píng)價(jià)，要么是評(píng)審員變得非常嚴(yán)格，要么是論文質(zhì)量下降了？

今年，NeurIPS收到了很多「回收利用」的論文。

另一位AI研究員同樣表示，要么就是論文質(zhì)量下降，要么我就是大家口中討厭的2號(hào)評(píng)審員。

在他審閱的論文中，基本上都給了2-4分。

另有評(píng)審員表示，「在我負(fù)責(zé)的這批62篇論文中，平均評(píng)分是4.3分，標(biāo)準(zhǔn)差為1。所以如果你最初得到低分，也不要灰心」！

可見(jiàn)，這次NeurIPS頂會(huì)論文作者都挺不好受，想要獲取高分并不容易。

大模型參與評(píng)審

而且AI火了之后，大模型也被用來(lái)論文評(píng)審。

這次，NeurIPS 2024也不例外。

Reddit網(wǎng)友評(píng)論道，自己用一個(gè)月的時(shí)間審核6篇論文，當(dāng)看到自己得到的是LLM的評(píng)價(jià)，真的很受傷。

還有人指出，在自己審閱的論文中，至少發(fā)現(xiàn)了3篇由大模型生成的評(píng)審意見(jiàn)，很可能還有更多，其中3篇明顯是直接復(fù)制粘貼了ChatGPT輸出，完全沒(méi)有閱讀論文。

這些評(píng)審都給了6分，Confidence為4，與其他所有人的評(píng)價(jià)完全不一致。

更有網(wǎng)友評(píng)價(jià)道，「論文評(píng)論的質(zhì)量很低」。

一個(gè)評(píng)審者混淆了我們方法的基線，另一個(gè)評(píng)審者混淆了基線的派生（正如我們的工作所批評(píng)的那樣）和我們方法的派生。我懷疑一些評(píng)論是由LLM產(chǎn)生的。

這屆評(píng)審怎么肥事？

有人指出這本是NeurIPS官方組委會(huì)的問(wèn)題。

對(duì)于NeurIPS的評(píng)審，6分的描述完全、徹底、奇怪地錯(cuò)誤。

通常情況下，給6分就意味著拒稿。但它卻被描述為一篇有中等到高影響力，且沒(méi)有問(wèn)題的論文？

難怪新評(píng)審員給出如此低的分?jǐn)?shù)！

在NeurIPS評(píng)分規(guī)則中，給6分的介紹——Weak Accept。

技術(shù)上扎實(shí)，具有中等到高影響力的論文，在評(píng)估、資源、可重復(fù)性、倫理考慮方面沒(méi)有重大問(wèn)題。

今年6月，NeurIPS一位AC分享了很多關(guān)于頂會(huì)評(píng)審的更多信息：

他負(fù)責(zé)的一批共有13篇投稿，所有論文都已自動(dòng)分配了四位評(píng)審員。

有趣的是，50%的評(píng)審員是博士生，還有幾位碩士生和本科生也是評(píng)審員。

13篇論文中有5篇的評(píng)審員中，沒(méi)有任何一位的職位高于博士生。

在這位AC負(fù)責(zé)的所有評(píng)審員中，有3位正教授，1位副教授，4位助理教授，9位業(yè)界專業(yè)人士，以及2位來(lái)自國(guó)家實(shí)驗(yàn)室的人員。其余的是博士后/研究科學(xué)家、博士生、碩士生和本科生。