全球?qū)W術(shù)圈險(xiǎn)被ChatGPT論文攻陷！知名出版商緊急撤稿，AI插圖笑翻網(wǎng)友
學(xué)術(shù)圈，已經(jīng)抵御不住LLM的入侵了！
最近，世界知名出版集團(tuán)愛(ài)思唯爾旗下的幾篇論文接連被質(zhì)疑。
比如下面這篇鋰電池的論文，在「介紹」部分的第一句，就暴露了可疑的痕跡——
「當(dāng)然可以，這里是您的主題可能需要的介紹」。
一開(kāi)口就是老ChatGPT了。
圖片
奇怪的是，明明這句話(huà)就在第一句，這么顯眼的錯(cuò)誤，共同作者、主編、審稿人、排版人員，竟然一個(gè)都沒(méi)有注意到？？
如果真的是經(jīng)過(guò)了嚴(yán)格的同行評(píng)審，會(huì)發(fā)生這種情況嗎？
同樣情況的例子不勝枚舉。
比如這篇講肝損傷的論文，在總結(jié)時(shí)忽然有一大段亮了——
「總之，非常抱歉，由于我是人工智能語(yǔ)言模型，我無(wú)法獲得實(shí)時(shí)信息或患者的具體數(shù)據(jù)……」
「我可以提供有關(guān)損傷一般信息，但是對(duì)于的具體病例，建議你去咨詢(xún)一下專(zhuān)業(yè)醫(yī)務(wù)人員……」
圖片
這一篇講太陽(yáng)能光伏電池板能量轉(zhuǎn)換效率的論文，在某段落之后赫然出現(xiàn)一句ChatGPT界面中經(jīng)常出現(xiàn)的話(huà)——「Regenerate response」。
圖片
圖片
網(wǎng)友們笑翻了，議論的聲音越來(lái)越大，現(xiàn)在已經(jīng)逼得愛(ài)思唯爾官方下場(chǎng)，澄清政策并沒(méi)有規(guī)定，在寫(xiě)論文過(guò)程中不得使用LLM，只要提前聲明就可以。
并且表示，官方目前正在調(diào)查被質(zhì)疑的論文。
圖片
而紐約大學(xué)學(xué)者馬庫(kù)斯評(píng)論道，AI的泛濫對(duì)于期刊出版商來(lái)說(shuō)，是一個(gè)重大的預(yù)警，因?yàn)樗麄冏钪匾木褪锹曌u(yù)。
現(xiàn)在，GenAI生產(chǎn)的垃圾已經(jīng)迅速淹沒(méi)了論文的審查過(guò)程，導(dǎo)致出版方的聲譽(yù)急劇下降。
科學(xué)界的每個(gè)人都輸了，除了ChatGPT。
寫(xiě)論文的確可以使用LLM
在愛(ài)思唯爾的官方規(guī)定中，的確允許作者在寫(xiě)論文時(shí)使用AI。
當(dāng)然，也有一定的原則，那就是AI的作用是提高作品的可讀性和語(yǔ)言性，但不能取代關(guān)鍵的寫(xiě)作任務(wù)，比如給出科學(xué)結(jié)論、提供臨床建議。
另外，如果是使用了AI，作者就必須聲明這一點(diǎn)。
圖片
如果作者在寫(xiě)作過(guò)程中使用人工智能和人工智能輔助技術(shù)，這些技術(shù)只能用于提高作品的可讀性和語(yǔ)言性，而不能取代關(guān)鍵的寫(xiě)作任務(wù)，例如產(chǎn)生科學(xué)、教學(xué)或醫(yī)學(xué)見(jiàn)解、得出科學(xué)結(jié)論或提供臨床建議。應(yīng)用該技術(shù)應(yīng)該在人類(lèi)的監(jiān)督和控制下完成，所有工作都應(yīng)仔細(xì)審查和編輯，因?yàn)槿斯ぶ悄芸梢援a(chǎn)生聽(tīng)起來(lái)權(quán)威的輸出，這些輸出可能是不正確的、不完整的或有偏見(jiàn)的。作者對(duì)作品內(nèi)容負(fù)有最終責(zé)任和義務(wù)。
作者應(yīng)在其手稿中披露人工智能和人工智能輔助技術(shù)的使用，并在已發(fā)表的作品中出現(xiàn)聲明。聲明使用這些技術(shù)有助于作者、讀者、審稿人、編輯和貢獻(xiàn)者之間的透明度和信任，并有助于遵守相關(guān)工具或技術(shù)的使用條款。
其實(shí)，這個(gè)消息不是什么新鮮事了，用ChatGPT等LLM工具寫(xiě)論文的作者，可謂多如牛毛。
去年，大家都被這篇新聞刷屏了——
美國(guó)田納西大學(xué)健康科學(xué)中心的一名放射科醫(yī)生用ChatGPT狂寫(xiě)論文，4個(gè)月直接肝出16篇，其中5篇甚至已經(jīng)發(fā)表了！
圖片
而ChatGPT早在2022年底，已經(jīng)大搖大擺地出現(xiàn)在了共同作者欄中，毫不避諱自己的貢獻(xiàn)。
圖片
圖片
網(wǎng)友：作者自己讀過(guò)文章嗎？
對(duì)于這件事情，網(wǎng)友表示：
愛(ài)思唯爾的「Surfaces and Interfaces」沒(méi)有同行評(píng)審流程，也沒(méi)有編輯流程。它只是一個(gè)昂貴的預(yù)印本存儲(chǔ)庫(kù)，光收錢(qián)，不干活。
甚至，網(wǎng)友懷疑就連作者自己，都沒(méi)讀過(guò)這些文章……
既然作者和審稿人都不干活，那不妨大家彼此都坦誠(chéng)一些，不用演戲了，——ChatGPT自己寫(xiě)稿自己審吧。
「嘿，ChatGPT，你能幫我同行評(píng)審這篇論文嗎？」
ChatGPT：「是的，看起來(lái)不錯(cuò)，你可以發(fā)布」
圖片
甚至，還真有網(wǎng)友把這篇文章丟給了ChatGPT：「嘿，你能檢查一下這篇論文是否有任何明顯的Chatgpt使用跡象嗎？」
Chatgpt認(rèn)真審閱了稿件，表示：「是的，這篇論文的引言中有幾個(gè)跡象表明它可能是由人工智能撰寫(xiě)的」，并給出了詳盡的理由：
插圖都是用AI畫(huà)的
更好笑的是，如今AI不僅榮升論文作者，甚至還在很多論文中充當(dāng)起插畫(huà)師了！
前一陣，這篇名為「Cellular functions of spermatogonial stem cells in relation to JAK/STAT signaling pathway」 論文中的一幅插圖，讓網(wǎng)友們笑翻了。
圖片
仔細(xì)看這幅圖，可謂是槽點(diǎn)滿(mǎn)滿(mǎn)。
首先大鼠的坐姿就很奇怪，仿佛一只松鼠。
圖中講的是從大鼠睪丸中分離、純化和培養(yǎng)精原干細(xì)胞的過(guò)程，然而大鼠的睪丸竟然有4對(duì)，碩大的陰莖比身體還大，培養(yǎng)皿中甚至還有一把湯匙？
圖片
網(wǎng)友們紛紛表示嚇住了，然而還有驚喜！
有人發(fā)現(xiàn)，這張信號(hào)通路圖也亮了。
圖片
這個(gè)不明意義的protemns，應(yīng)該是把protein（蛋白質(zhì)）拼錯(cuò)了。
圖片
這個(gè)結(jié)構(gòu)被拼成了prom（舞會(huì)）。
圖片
這里還出現(xiàn)了亂碼。
圖片
還沒(méi)完，F(xiàn)igure 3依然有驚喜。
圖片
對(duì)于這些細(xì)胞圖，網(wǎng)友直接給出神評(píng)論：「仿佛披薩上撒著香腸和藍(lán)色西紅柿……」
當(dāng)然，至少作者承認(rèn)了插圖是由Midjourney生成的。
圖片
因?yàn)橐鹆巳绱塑幦淮蟛?，論文發(fā)表三天后，已經(jīng)被期刊迅速撤回了。
期刊表示：文章不符合本刊的編輯和科學(xué)嚴(yán)謹(jǐn)標(biāo)準(zhǔn)。
圖片
AI能檢測(cè)AI論文嗎？
但是，如果用了LLM卻不提前聲明，除了等著論文作者犯低級(jí)錯(cuò)誤「自爆」之外，有沒(méi)有什么辦法能檢測(cè)出論文的「含模量」？
圖片
不少有經(jīng)驗(yàn)的論文審稿人提供了一個(gè)可以參考的經(jīng)驗(yàn)，直接查論文的引用，如果隨機(jī)抽10個(gè)論文引用，有超過(guò)一個(gè)論文引用是不準(zhǔn)確的，那么他就會(huì)懷疑論文至少某些部分是用LLM生成的。
因?yàn)長(zhǎng)LM生成論文最大的問(wèn)題就是會(huì)瞎編引用。而網(wǎng)上很多通用的LLM檢測(cè)工具，基本上都不靠譜。
所以如果審稿人或者教授只是簡(jiǎn)單的依賴(lài)通用AI檢測(cè)工具來(lái)判斷的話(huà)，大概率是會(huì)冤枉好人的。
但是，雖然通用的AI檢測(cè)器不好使，如果針對(duì)某個(gè)專(zhuān)業(yè)領(lǐng)域的論文進(jìn)行AI檢測(cè)，可能是一條走得通的路。
此前，Nature報(bào)導(dǎo)了堪薩斯大學(xué)的一個(gè)團(tuán)隊(duì)的研究成果，他們開(kāi)發(fā)的學(xué)術(shù)AI檢測(cè)系統(tǒng)，能有效分辨論文中是否含有AI生成的內(nèi)容，準(zhǔn)確率高達(dá)98%！
圖片
文章地址：https://www.nature.com/articles/d41586-023-03479-4
團(tuán)隊(duì)的核心思路是，不追求制作一個(gè)通用的檢測(cè)器，而只是針對(duì)某個(gè)具體領(lǐng)域的學(xué)術(shù)論文，來(lái)構(gòu)建一個(gè)真正有用的AI內(nèi)容檢測(cè)器。
通過(guò)針對(duì)特定類(lèi)型的寫(xiě)作文本定制檢測(cè)軟件，可能是通向開(kāi)發(fā)出通用AI檢測(cè)器的一個(gè)技術(shù)路徑。
提取論文寫(xiě)作風(fēng)格的20個(gè)關(guān)鍵特征，然后將這些特征數(shù)據(jù)輸入XGBoost模型進(jìn)行訓(xùn)練，從而就能區(qū)分人類(lèi)文本和AI文本。
最后，得到的AI論文識(shí)別率高達(dá)98%。
圖片
希望未來(lái)至少能夠開(kāi)發(fā)出針對(duì)學(xué)術(shù)界有用的AI內(nèi)容檢測(cè)器，從而控制「AI學(xué)術(shù)垃圾」的泛濫。
學(xué)生、老師紛紛用上AI神器，用魔法打敗魔法
AI泛濫的，可不止是學(xué)術(shù)圈。在學(xué)校里，各種AI工具的出現(xiàn)，也是把局面攪得一團(tuán)糟。
現(xiàn)在，學(xué)生用AI寫(xiě)作業(yè)，老師用AI打分，就問(wèn)這個(gè)過(guò)程中還有真人嗎？
學(xué)生：ChatGPT幫我寫(xiě)作業(yè)
圖片
ChatGPT的誕生首先，讓學(xué)生們看到了「機(jī)會(huì)」。
BBC此前曾報(bào)道，兩位青年記者采訪(fǎng)自己的同學(xué)是否使用AI來(lái)幫自己寫(xiě)作業(yè)。
有位同學(xué)表示自己的地理作業(yè)要到deadline了，「我用ChatGPT寫(xiě)了整個(gè)演講。但是當(dāng)我被問(wèn)到相關(guān)問(wèn)題時(shí)，我不知道我在說(shuō)什么」——掛了。
有同學(xué)表示自己使用ChatGPT來(lái)幫助自己理解問(wèn)題，「當(dāng)你做作業(yè)時(shí)，教室里沒(méi)有老師，而ChatGPT就像一個(gè)老師。」
兩位記者做了份匿名調(diào)查，結(jié)果顯示，在33名學(xué)生中，有31人在學(xué)業(yè)中使用了人工智能，而27人認(rèn)為學(xué)校應(yīng)該教授如何使用人工智能。
圖片
學(xué)生們表示，AI工具有助于自己提出想法、研究，以及完善寫(xiě)作結(jié)構(gòu)和措辭等。
——不過(guò)，也有些人承認(rèn)用AI來(lái)作弊。
雖然ChatGPT給出的答案并不總是正確，但這并沒(méi)有阻止大多數(shù)人使用它。
「你可以從ChatGPT之類(lèi)的工具那里得到一個(gè)真正結(jié)構(gòu)化的答案，然后用其他擴(kuò)展研究來(lái)支持它?！?/span>
關(guān)于這個(gè)24小時(shí)在線(xiàn)的「老師」是否更好，大家仍在爭(zhēng)論。
不過(guò)與此同時(shí)，處在另一陣營(yíng)的老師們，「也看到了機(jī)會(huì)」。
老師：ChatGPT幫我批作業(yè)
自從ChatGPT面世以來(lái)，老師們就開(kāi)始嘗試用它來(lái)批改作業(yè)。
比如，編制課程計(jì)劃、教學(xué)大綱，以及批改作業(yè)，檢測(cè)是否用了AI輔助等其他作弊行為。
現(xiàn)在，美國(guó)的一些學(xué)校正式開(kāi)始支持并鼓勵(lì)使用這一做法。
圖片
據(jù)Axios報(bào)道，老師們現(xiàn)在可以通過(guò)一款名為Writable的新工具，利用ChatGPT對(duì)3至12年級(jí)學(xué)生的作業(yè)進(jìn)行打分。
老師先布置寫(xiě)作任務(wù)（比如「我的暑假經(jīng)歷」），學(xué)生們通過(guò)線(xiàn)上方式提交作業(yè)。
然后，老師將這些作業(yè)提交給Writable，Writable又將它們交給ChatGPT處理。
接著，ChatGPT會(huì)向老師提出評(píng)論和建議，老師們?cè)賹?duì)這些建議進(jìn)行修改，之后反饋給學(xué)生。
為了保護(hù)學(xué)生隱私，Writable會(huì)將學(xué)生信息進(jìn)行「詞元化」處理，確保不會(huì)將任何能識(shí)別個(gè)人身份的信息提交給AI系統(tǒng)。
圖片
但值得注意的是，AI評(píng)分工具帶來(lái)的便利性可能誘惑老師「變懶」，學(xué)生們會(huì)因此失去獲得更深入反饋的機(jī)會(huì)。
比較勤勉的老師會(huì)把ChatGPT僅僅作為輔助，但也可能會(huì)有老師直接把AI的建議不加修改地反饋給學(xué)生。
所以，在學(xué)校忙于擬定AI政策的同時(shí)，關(guān)于應(yīng)如何劃定使用界限的討論也在持續(xù)。利用ChatGPT來(lái)批改論文，在學(xué)術(shù)上算不算誠(chéng)實(shí)？這樣做是不是對(duì)學(xué)生不公平？
教育科技公司認(rèn)為，像Writable這類(lèi)自動(dòng)化工具的目的是為了給教師提供更多的自由時(shí)間和靈活性。
如果讓AI來(lái)承擔(dān)批改作業(yè)的繁重任務(wù)，那些時(shí)間緊張的教師就能有更多機(jī)會(huì)設(shè)計(jì)富有創(chuàng)意的課程并更好地了解自己的學(xué)生。
雖然一些家長(zhǎng)對(duì)孩子作業(yè)上出現(xiàn)AI生成的評(píng)論表示非常不滿(mǎn)，但并非人人都持反對(duì)態(tài)度。
根據(jù)一項(xiàng)民意調(diào)查，當(dāng)被問(wèn)及「K-12學(xué)校是否應(yīng)該使用AI評(píng)估學(xué)生的學(xué)業(yè)表現(xiàn)」時(shí)，有45%的家長(zhǎng)表示支持。
參考資料：
https://www.axios.com/2024/03/06/ai-tools-teachers-chatgpt-writable
