OpenAI開發(fā)ChatGPT「反作弊神器」,99.9%超高命中率!但沒發(fā)布
去各大高校圖書館轉(zhuǎn)一圈,會發(fā)現(xiàn)頭上一副耳機、手邊一杯咖啡,電腦上一個AI工具網(wǎng)頁幾乎成了當代大學生標配。
學生熱衷于在ChatGPT的幫助下完成作業(yè),教師們卻頭疼于無法杜絕學生用ChatGPT作弊的行為。
人工智能可以根據(jù)一個提示,在幾秒鐘內(nèi)免費創(chuàng)建整篇論文或研究論文。教師和教授表示,他們迫切需要幫助來打擊濫用行為。
《每日郵報》2023年1月30報道稱,UNSW的1名學生使用ChatGPT自動生成論文被抓,這也是全澳第一個使用AI技術作弊被抓的學生。
UNSW人工智能教授Toby Walsh表示,各大高校都在評估如何阻止學生使用AI技術作弊。
隨后,新州、昆州和塔州都封鎖了校園網(wǎng)絡對于ChatGPT的訪問,以防學生通過該技術作弊。
但Walsh教授表示,阻止校園網(wǎng)絡訪問ChatGPT是沒有意義的,因為學生們可以通過代理繞過封鎖。
「想要徹底阻止學生作弊,只能把他們放在一個沒有網(wǎng)絡的環(huán)境里,給他們一張紙和一支筆?!?/span>
CDT最近進行的一項調(diào)查發(fā)現(xiàn),59%的中學教師確信有些學生使用了AI來幫助完成學業(yè),比前一個學年上升了17個百分點。
要想靠老師和學校的盯梢,避開ChatGPT的誘惑很難辦到,解鈴還須系鈴人——讓AI企業(yè)親自出馬解決抓「AI槍手」。
據(jù)悉,OpenAI已經(jīng)開發(fā)出一款能夠高精度識別ChatGPT生成文本的工具,但遲遲未發(fā)布。
「文本水印」抓作弊,成功率99.9%
ChatGPT由人工智能系統(tǒng)提供支持,生成原理是根據(jù)輸入內(nèi)容預測句子中接下來出現(xiàn)的token。
OpenAI正在討論的反作弊工具將稍微改變token的選擇方式,這些變化會留下一種稱為水印的圖案。
這些水印肉眼無法察覺,但可以通過OpenAI的檢測技術發(fā)現(xiàn),檢測器提供整個文檔或部分文檔由ChatGPT編寫的可能性的分數(shù)。
根據(jù)內(nèi)部文件,當ChatGPT創(chuàng)建足夠多的新文本時,水印的有效率可以達到99.9%。
雖然準確率超高,OpenAI工作人員仍然擔心,換一種方式可以輕松卡Bug,通過簡單的技術來刪除水印。
例如讓Google將文本翻譯成另一種語言,然后再翻譯回來,或者讓ChatGPT在文本中添加表情符號,然后手動刪除它們。
另一方面,公司內(nèi)部普遍認為,誰可以使用該探測器將也是一個棘手的問題。
如果擁有該工具的人太少,工具基本上就沒有用處。如果太多人獲得訪問權限,有些人可能會嘗試破譯水印技術。
OpenAI員工也討論過,直接向教育工作者或外部公司提供檢測器,幫助學校識別人工智能撰寫的論文和抄襲作品。
谷歌其實也開發(fā)過一種水印工具,可以檢測Gemini AI生成的文本,叫做SynthID,正處于Beta測試階段,尚未廣泛使用。
OpenAI有一個工具可以確定圖像是否是使用文本到圖像生成器DALL-E 3創(chuàng)建的,該工具于去年春天發(fā)布用于測試。
該知情員工表示,該公司優(yōu)先考慮音頻和視頻水印而不是文本,因為其危害更為嚴重,尤其是在美國繁忙的選舉年。
AI文本分類器
早在2023年1月,OpenAI就發(fā)布了一種算法,旨在檢測多個AI模型(包括其自己的模型)編寫的文本。
但它的成功率僅為26%,七個月后OpenAI就將其撤回。
其他公司和研究人員還開發(fā)了一些工具來檢測人工智能創(chuàng)建的文本,許多教師表示他們已經(jīng)使用過這些工具。
但它們有時無法檢測由高級大語言模型編寫的文本,并且準確率很低,可能產(chǎn)生誤報。
最近在佐治亞州一所私立高中任教的教育工作者人工智能顧問Mike Kentz表示,起初,學生們確實被震懾到,以為老師們已經(jīng)完全掌握了一種方法,可以弄清楚他們是否使用了人工智能代寫。
但到了年底……他們慢慢發(fā)現(xiàn),等一下,我的老師好像不知道。
一些老師鼓勵學生使AI來幫助研究或提供想法反饋。但問題是,當學生使用像ChatGPT這樣的應用程序來完成所有工作時,學生甚至不會去檢查自己交的是什么。
去年,猶他大學政治學教授Josh McCrain給學生布置了一份寫作作業(yè),作業(yè)要求插入了難以辨認的小文字,其中提到了和作業(yè)無關的蝙蝠俠。
如果他們將作業(yè)復制并粘貼到人工智能中,作業(yè)提示內(nèi)容就會被合并,「蝙蝠俠」就會干擾作業(yè)內(nèi)容。
果然,少數(shù)學生提交了作業(yè)——一篇蝙蝠俠論文。
McCrain教授正在調(diào)整寫作作業(yè),更多地關注人工智能不太熟悉的時事,并懇求學生不要將他們的工作外包給人工智能。
「這就是我試圖向?qū)W生們強調(diào)這一點的地方:你需要自己學習這些東西。」McCrain教授說。
爭論不休
知情人士稱,有關水印工具的討論早在OpenAI于2022年11月推出ChatGPT之前就已經(jīng)開始。
它是由計算機科學教授Scott Aaronson開發(fā)的,過去兩年他在德克薩斯大學休假期間一直在OpenAI從事安全工作。
2023年初,OpenAI聯(lián)合創(chuàng)始人之一John Schulman在一份共享的Google文檔中概述了該工具的優(yōu)缺點。
OpenAI高管隨后決定,在采取進一步行動之前,他們將征求一系列人士的意見。
在接下來的一年半時間里,OpenAI高管反復討論,并尋求新數(shù)據(jù)集優(yōu)化算法,猶豫是否發(fā)布該技術。
內(nèi)部文件顯示,2023年4月,OpenAI委托進行了一項調(diào)查,結果顯示,世界范圍的人們以四比一的比例支持人工智能檢測工具的想法。
同月,OpenAI對ChatGPT用戶進行了調(diào)查,發(fā)現(xiàn)69%的人認為作弊檢測技術會導致使AI技術錯誤指控。
近30%的人表示,如果ChatGPT部署了水印功能,而競爭對手沒有部署水印,他們會減少使用。
另外,OpenAI內(nèi)部還有一種反對的聲音是反作弊工具可能會損害ChatGPT的寫作質(zhì)量。
知情人士稱,OpenAI今年早些時候進行了一項測試,發(fā)現(xiàn)文本水印不會降低輸出質(zhì)量。
6月初,OpenAI高級員工和研究人員再次聚會討論該項目。該組織一致認為水印技術效果良好,但去年的ChatGPT 用戶調(diào)查結果仍然是一個頭疼的問題。
內(nèi)部文件顯示,OpenAI需要在今年秋天之前制定一項計劃,圍繞AI透明度以及相關潛在新法律來左右公眾輿論——
「如果做不到這一點,我們就有可能失去負責任企業(yè)的信譽?!?/span>