NeurIPS24評(píng)審結(jié)果遭全網(wǎng)吐槽,驚動(dòng)LeCun!評(píng)審員打低分,嚴(yán)重貶低論文貢獻(xiàn)
每年AI領(lǐng)域的國際頂會(huì),少不了「大事」發(fā)生。
前段時(shí)間,NeurIPS 2024論文評(píng)審結(jié)果終于出爐了,網(wǎng)友們開始「拉群」吵成了一片。
這時(shí),有網(wǎng)友爆出黑料:
「一些評(píng)審人嚴(yán)重貶低論文貢獻(xiàn),用不合理的標(biāo)準(zhǔn)評(píng)判,甚至忽視論文相對(duì)于其他工作的實(shí)際改進(jìn)」
他認(rèn)為,這可能是競品的作者,發(fā)現(xiàn)后做出不誠實(shí)的評(píng)審。
就連LeCun大佬也來圍觀,立即轉(zhuǎn)發(fā)了該帖。
作為領(lǐng)域主席,我告訴作者:如果你遇到了這種情況,請(qǐng)聯(lián)系領(lǐng)域主席(AC)。
作為一個(gè)作者,我想問:如何恰當(dāng)?shù)刂赋鲞@種行為,并在合法批評(píng)和過度把關(guān)之間找到平衡點(diǎn)?
另有網(wǎng)友放出NeurIPS評(píng)審員經(jīng)典評(píng)論:這個(gè)解決方案不是新的,并且已經(jīng)被大量研究過了。
今年,是NeurIPS第38屆年會(huì),將于12月9日-15日在溫哥華召開。
根據(jù)Paper Copilot收集的數(shù)據(jù)統(tǒng)計(jì),截至目前,得分平均分布均在3-6分之間居多。
論文被打低分,究竟是誰的問題?
NeurIPS論文低分一片?
一位來自UT Austin的副教授,也是NeurIPS這屆頂會(huì)的領(lǐng)域主席(AC)之一,闡述了自己所看到的現(xiàn)象。
他表示,在自己負(fù)責(zé)的一批論文中,已提交了48篇中的16篇評(píng)審。
到目前為止,我還沒有看到一個(gè)正面評(píng)價(jià),要么是評(píng)審員變得非常嚴(yán)格,要么是論文質(zhì)量下降了?
今年,NeurIPS收到了很多「回收利用」的論文。
另一位AI研究員同樣表示,要么就是論文質(zhì)量下降,要么我就是大家口中討厭的2號(hào)評(píng)審員。
在他審閱的論文中,基本上都給了2-4分。
另有評(píng)審員表示,「在我負(fù)責(zé)的這批62篇論文中,平均評(píng)分是4.3分,標(biāo)準(zhǔn)差為1。所以如果你最初得到低分,也不要灰心」!
可見,這次NeurIPS頂會(huì)論文作者都挺不好受,想要獲取高分并不容易。
大模型參與評(píng)審
而且AI火了之后,大模型也被用來論文評(píng)審。
這次,NeurIPS 2024也不例外。
Reddit網(wǎng)友評(píng)論道,自己用一個(gè)月的時(shí)間審核6篇論文,當(dāng)看到自己得到的是LLM的評(píng)價(jià),真的很受傷。
還有人指出,在自己審閱的論文中,至少發(fā)現(xiàn)了3篇由大模型生成的評(píng)審意見,很可能還有更多,其中3篇明顯是直接復(fù)制粘貼了ChatGPT輸出,完全沒有閱讀論文。
這些評(píng)審都給了6分,Confidence為4,與其他所有人的評(píng)價(jià)完全不一致。
更有網(wǎng)友評(píng)價(jià)道,「論文評(píng)論的質(zhì)量很低」。
一個(gè)評(píng)審者混淆了我們方法的基線,另一個(gè)評(píng)審者混淆了基線的派生(正如我們的工作所批評(píng)的那樣)和我們方法的派生。我懷疑一些評(píng)論是由LLM產(chǎn)生的。
這屆評(píng)審怎么肥事?
有人指出這本是NeurIPS官方組委會(huì)的問題。
對(duì)于NeurIPS的評(píng)審,6分的描述完全、徹底、奇怪地錯(cuò)誤。
通常情況下,給6分就意味著拒稿。但它卻被描述為一篇有中等到高影響力,且沒有問題的論文?
難怪新評(píng)審員給出如此低的分?jǐn)?shù)!
在NeurIPS評(píng)分規(guī)則中,給6分的介紹——Weak Accept。
技術(shù)上扎實(shí),具有中等到高影響力的論文,在評(píng)估、資源、可重復(fù)性、倫理考慮方面沒有重大問題。
今年6月,NeurIPS一位AC分享了很多關(guān)于頂會(huì)評(píng)審的更多信息:
他負(fù)責(zé)的一批共有13篇投稿,所有論文都已自動(dòng)分配了四位評(píng)審員。
有趣的是,50%的評(píng)審員是博士生,還有幾位碩士生和本科生也是評(píng)審員。
13篇論文中有5篇的評(píng)審員中,沒有任何一位的職位高于博士生。
在這位AC負(fù)責(zé)的所有評(píng)審員中,有3位正教授,1位副教授,4位助理教授,9位業(yè)界專業(yè)人士,以及2位來自國家實(shí)驗(yàn)室的人員。其余的是博士后/研究科學(xué)家、博士生、碩士生和本科生。