ICML征稿禁止使用大型語(yǔ)言模型,LeCun轉(zhuǎn)發(fā):中小型模型可以用嗎?
昨天,國(guó)際機(jī)器學(xué)習(xí)會(huì)議(ICML)發(fā)布了2023論文征稿公告。
論文提交日期為1月9日至1月26日。
然而,本次會(huì)議中關(guān)于「道德準(zhǔn)則」的要求卻引來(lái)了眾多不滿(mǎn)。
LLM不可控,還是ban掉吧
根據(jù)大會(huì)的政策,所有作者和程序委員會(huì)成員,包括審稿人,應(yīng)遵循標(biāo)準(zhǔn)的道德準(zhǔn)則。
嚴(yán)禁任何形式的抄襲,以及審稿人、領(lǐng)域主席(AC)和高級(jí)領(lǐng)域主席(SAC)對(duì)特權(quán)信息的不道德使用,例如共享此信息,或?qū)⑵溆糜谠u(píng)審過(guò)程以外的任何其他目的。
禁止包含從大規(guī)模語(yǔ)言模型(LLM)(如ChatGPT)生成的文本的論文,除非這些生成的文本作為論文實(shí)驗(yàn)分析的一部分呈現(xiàn)。
所有可疑的不道德行為都將由道德委員會(huì)進(jìn)行調(diào)查,被發(fā)現(xiàn)違反規(guī)則的個(gè)人可能會(huì)面臨制裁。今年,我們將收集被發(fā)現(xiàn)違反這些標(biāo)準(zhǔn)的個(gè)人姓名;如果代表會(huì)議、期刊或其他組織的個(gè)人出于決策目的要求提供此列表,我們可能會(huì)向他們提供此信息。?
其中,「禁止使用大型語(yǔ)言模型寫(xiě)論文」一條要求被網(wǎng)友熱議。
此消息已發(fā)布,網(wǎng)友紛紛在ICML推特下評(píng)論:「為啥不能用大型語(yǔ)言模型?」
AI論文不能用AI,合理嗎
Yann LeCun轉(zhuǎn)發(fā)并評(píng)價(jià):「大型語(yǔ)言模型不能用,意思是中型和小型語(yǔ)言模型還可以用?!?/span>
他解釋說(shuō):「因?yàn)槠磳?xiě)檢查應(yīng)用和文本預(yù)測(cè)也是語(yǔ)言模型?!?/span>
最后,LeCun陰陽(yáng)道:「明年的ICML道德準(zhǔn)則應(yīng)該變成:研究人員必須徒手完成各種計(jì)算,不能借助計(jì)算機(jī);各類(lèi)圖形必須用筆和紙手繪;從今天起,ICML的官方語(yǔ)言變?yōu)槿鸬湔Z(yǔ)(瑞典:?)?!?/span>
最后,還不忘轉(zhuǎn)發(fā)一部電影《瘋了》,總結(jié)自己對(duì)ICML政策的評(píng)價(jià)。
在LeCun的帖子下,網(wǎng)友們各顯神通,紛紛整活。
一位網(wǎng)友給ICML提供了新的思路:「另一種表述此策略的方式是‘提交中的所有文本都應(yīng)由參數(shù)小于100B或超過(guò)1萬(wàn)億的神經(jīng)網(wǎng)絡(luò)生成’?!?/span>
還有人假裝是ICML的評(píng)審,給ChatGPT打廣告:「作為ICML和其他會(huì)議的評(píng)審 ,我很欣賞作者們使用ChatGP等工具潤(rùn)色文章。這會(huì)讓他們的論文更加清晰易讀。(該帖已經(jīng)過(guò)ChatGPT的修改)」
對(duì)于該規(guī)則,MIT教授Erik Brynjolfsson簡(jiǎn)單概括:「這是場(chǎng)必?cái)≈?。?/span>
除了整活玩梗,也有人認(rèn)真表達(dá)了自己對(duì)ICML規(guī)定的想法。
AAAI前主席Thomas Dietterich說(shuō):「這個(gè)規(guī)定很怪,對(duì)于一個(gè)人工智能會(huì)議來(lái)說(shuō)更是如此。我們應(yīng)該歡迎所有為科學(xué)技術(shù)做出貢獻(xiàn)的文章,不論作者是否接受了AI的輔助?!?/span>
也有人給ICML改進(jìn)建議:
使用大型語(yǔ)言模型來(lái)進(jìn)行審校對(duì)于改善拼寫(xiě)和語(yǔ)法很有裨益。Grammarly,Notion,Google Docs甚至Word都會(huì)用到大型語(yǔ)言模型。
看起來(lái),解決方法是解釋清楚使用大型語(yǔ)言模型的原因和用途,而非一味禁止。
原來(lái)不止我用Grammarly檢查拼寫(xiě)和語(yǔ)法(doge)。
當(dāng)然,也有網(wǎng)友對(duì)此表示了理解,認(rèn)為此舉是為了保護(hù)評(píng)審的權(quán)威。
網(wǎng)友Anurag Ghosh評(píng)論道:「我認(rèn)為ICML的要求是為了防止那些看似正確的論文發(fā)表。例如機(jī)器學(xué)習(xí)領(lǐng)域發(fā)表的5篇編造/AI生成的論文。這會(huì)暴露同行評(píng)審的缺陷。」
也有人認(rèn)為,「大型語(yǔ)言模型只是工具,如果它們就可以生成質(zhì)量更高的論文,那又如何?這些研究的主要貢獻(xiàn)不來(lái)自于大型語(yǔ)言模型,而來(lái)自那些研究人員。難道我們要禁止研究人員接受任何形式的幫助,比如谷歌搜索,或是不能和沒(méi)有利害關(guān)系的人談?wù)摯耸聠???/span>
由于最近幾年大語(yǔ)言模型的熱度始終不減,這次ICML提出的禁令引發(fā)的學(xué)者和網(wǎng)友熱烈討論,想必還會(huì)持續(xù)一段時(shí)間。
不過(guò)目前看下來(lái),有一個(gè)問(wèn)題似乎還沒(méi)人討論,如何判斷一篇文章的片段是不是大語(yǔ)言模型生成的?如何驗(yàn)證,靠查重嗎?畢竟真要是機(jī)器模型生成的文章,誰(shuí)也不會(huì)特意標(biāo)注一個(gè)「本文是大語(yǔ)言模型自動(dòng)生成的」,對(duì)吧?
更何況,研究論文這種邏輯清晰、結(jié)構(gòu)明確、語(yǔ)言風(fēng)格高度模式化的文章,簡(jiǎn)直就是大語(yǔ)言模型發(fā)揮的最佳場(chǎng)所,即使是生成的原文略顯生硬,但如果是當(dāng)個(gè)輔助工具來(lái)用,怕是很難辨別,也就難有明確的標(biāo)準(zhǔn)來(lái)實(shí)施這個(gè)禁令。
這樣看來(lái),這次ICML的審稿人肩上的擔(dān)子,怕是又要重了不少了。