當(dāng)你被AI無(wú)辜扣上「作弊」的帽子，作何感想？

這件事恰恰發(fā)生在了一位高三學(xué)生Lucy Goetz身上。原本她寫(xiě)的一篇社會(huì)主義原創(chuàng)論文得了最高分。

但是，Turnitin公司的AI寫(xiě)作檢測(cè)器竟說(shuō)，Goetz論文結(jié)尾是用ChatGPT生成的。

Goetz震驚道，「我很高興能和老師們保持良好的關(guān)系」。

簡(jiǎn)言之，還好老師了解我，不然跳進(jìn)黃河都洗不清了。

而更令人驚訝的是，這個(gè)ChatGPT檢測(cè)器現(xiàn)在已經(jīng)被210萬(wàn)名教師使用。

AI無(wú)法打敗AI

Goetz的論文中被標(biāo)記出的部分屬于異常情況，但這表明檢測(cè)器有時(shí)會(huì)出錯(cuò)。

顯然，AI是無(wú)法打敗AI的。這對(duì)許多學(xué)生來(lái)說(shuō)可能產(chǎn)生災(zāi)難性的后果。

為了測(cè)試Turnitin的檢測(cè)器，記者Geoffrey A. Fowler對(duì)Goetz在內(nèi)的5名高中生進(jìn)行了測(cè)試。

他們創(chuàng)作了16篇涵蓋真實(shí)、AI生成，以及混合來(lái)源的論文樣本。

結(jié)果如何呢？

Turnitin的檢測(cè)器至少在一半以上的樣本中出現(xiàn)錯(cuò)誤，僅是準(zhǔn)確識(shí)別出了其中6篇，但在3篇上的檢測(cè)都失敗了。其中就包括對(duì)Goetz原創(chuàng)論文中8%內(nèi)容的標(biāo)記錯(cuò)誤。

對(duì)于剩下的7篇，F(xiàn)owler稱，「我只會(huì)給它部分分?jǐn)?shù)，因?yàn)樗呐袛啻笾抡_，但錯(cuò)誤識(shí)別了一些ChatGPT生成或混合來(lái)源的寫(xiě)作部分。」

然而，Turnitin聲稱其檢測(cè)器的整體準(zhǔn)確率達(dá)到98%。該公司還表示，在其自身測(cè)試中，類(lèi)似Goetz論文的情況（即假陽(yáng)性）發(fā)生的概率不到1%。

Turnitin的AI檢測(cè)器詳細(xì)頁(yè)面會(huì)分配一個(gè)總分，并突出顯示疑似AI生成的句子。該公司表示，它故意用藍(lán)色而非紅色標(biāo)記疑似AI生成的段落，并在得分下方鏈接教師資源。

加州康科德市Goetz的AP英語(yǔ)課老師Rebecca Dell表示，Turnitin標(biāo)記AI文本的系統(tǒng)并不總是有效，這令人擔(dān)憂。

與抄襲指控不同，AI作弊沒(méi)有源文件作為證據(jù)，這最容易讓老師對(duì)學(xué)生帶有偏見(jiàn)。

或許并不是每個(gè)人都像Goetz那么幸運(yùn)。

Goetz表示，「對(duì)于學(xué)生來(lái)說(shuō)，被指控AI作弊尤其令人恐懼。除非你的老師了解你的寫(xiě)作風(fēng)格，或者對(duì)你非常信任，否則沒(méi)有辦法證明你沒(méi)有作弊」。

AI檢測(cè)為何如此困難

自ChatGPT面世以來(lái)，已經(jīng)被許多高校的學(xué)生和老師用在日常的作業(yè)和教學(xué)中。

然而，如果不加以限制，ChatGPT將會(huì)變成史上最強(qiáng)大的作弊工具，可以幫助學(xué)生們寫(xiě)作業(yè)，甚至是完成考試論文。

為了反偵察，一款簡(jiǎn)單易用的檢測(cè)器成為老師期盼的東西。一位22歲普林斯頓大學(xué)的學(xué)生Edward Tian，就自行開(kāi)發(fā)了一款檢測(cè)器——GPTZero。

甚至，OpenAI官宣推出一個(gè)新工具，名為AI Text Classifier的文件檢測(cè)器。

但是，這些檢測(cè)器的表現(xiàn)并不如人意。

檢測(cè)出AI創(chuàng)作的內(nèi)容聽(tīng)起來(lái)很簡(jiǎn)單。但當(dāng)給你一封手寫(xiě)郵件和ChatGPT生成的郵件后，我們幾乎無(wú)法辨別。

Turnitin的人工智能副總裁Eric Wang稱，用軟件檢測(cè)人工智能寫(xiě)作涉及統(tǒng)計(jì)學(xué)。從統(tǒng)計(jì)學(xué)的角度來(lái)看，人工智能與人類(lèi)的區(qū)別在于它極其穩(wěn)定地處于平均水平。

直白點(diǎn)講，AI水平很穩(wěn)定。然而，實(shí)際上并非這樣一個(gè)道理。

「像ChatGPT這樣的系統(tǒng)就像是自動(dòng)補(bǔ)全的高級(jí)版本，尋找下一個(gè)最可能要寫(xiě)的單詞。這實(shí)際上就是它為什么讀起來(lái)如此自然的原因。AI寫(xiě)作是人類(lèi)寫(xiě)作中最可能的子集?！?/span>

Turnitin的檢測(cè)器便會(huì)「識(shí)別出書(shū)寫(xiě)過(guò)于一致的平均情況」。挑戰(zhàn)就在于，有時(shí)候有時(shí)人類(lèi)的寫(xiě)作可能確實(shí)看起來(lái)處于平均水平。

在經(jīng)濟(jì)學(xué)、數(shù)學(xué)和實(shí)驗(yàn)室報(bào)告中，學(xué)生傾向于遵循固定的寫(xiě)作風(fēng)格，這意味著他們更有可能被誤認(rèn)為是AI寫(xiě)作。

這可能就是為什么Turnitin錯(cuò)誤地標(biāo)記了Goetz的論文，因?yàn)樗膬?nèi)容涉及到經(jīng)濟(jì)學(xué)。

Wang表示，Turnitin努力調(diào)整其系統(tǒng)，在標(biāo)記某個(gè)句子為AI生成之前需要更高的置信度，以便在這方面犯錯(cuò)。

并稱，自己家的軟件已經(jīng)有了很大的進(jìn)展?！肝沂状卧?月下旬測(cè)試Goetz的論文時(shí)，該軟件識(shí)別出其中大約50%是AI生成的。Turnitin在3月下旬再次通過(guò)其系統(tǒng)運(yùn)行我的樣本，那時(shí)只標(biāo)記了Goetz論文中的8%為AI生成的?！?/span>

Turnitin的檢測(cè)器也面臨其他重要的技術(shù)限制。

在它完全檢測(cè)正確的6個(gè)樣本中，它們都明顯是100%的學(xué)生作品，或由ChatGPT生成的。

但是當(dāng)用混合AI和人類(lèi)來(lái)源的論文進(jìn)行測(cè)試時(shí)，它經(jīng)常錯(cuò)誤識(shí)別單個(gè)句子，或完全漏掉人類(lèi)部分。而且它無(wú)法在通過(guò)Quillbot（一個(gè)可以重新組合句子的改寫(xiě)程序）處理的論文中發(fā)現(xiàn)ChatGPT的痕跡。

此外，Turnitin的檢測(cè)器可能已經(jīng)落后于當(dāng)前的人工智能技術(shù)水平。

因?yàn)榫湍肅hatGPT來(lái)說(shuō)吧，現(xiàn)在已經(jīng)得到了GPT-4的加持，而且具有更多的創(chuàng)造性和風(fēng)格化能力。

英偉達(dá)科學(xué)家Jim Fan稱，我認(rèn)為檢測(cè)器在長(zhǎng)期內(nèi)是不可靠的。人工智能會(huì)變得越來(lái)越好，并且會(huì)以越來(lái)越像人類(lèi)的方式進(jìn)行寫(xiě)作?？梢钥隙ǖ卣f(shuō)，隨著時(shí)間的推移，這些語(yǔ)言模型的小怪癖都會(huì)減少。

用AI檢測(cè)，是個(gè)好主意嗎？

既然有出錯(cuò)的潛在可能性（即使只有1%），為什么還要發(fā)布人工智能檢測(cè)器呢？

Chechitelli說(shuō)，「教師希望有威懾作用」。然而，一些教育工作者擔(dān)心這實(shí)際上會(huì)提高學(xué)生的緊張程度。

4月4日，Turnitin已經(jīng)為大約10,700所中等教育和高等教育機(jī)構(gòu)激活了這款ChatGPT檢測(cè)器，對(duì)學(xué)生作業(yè)進(jìn)行「由AI生成」的評(píng)分以及逐句分析。

密歇根大學(xué)迪爾伯恩分校的數(shù)字教育副教務(wù)長(zhǎng)Mitchel Sollenberger請(qǐng)求Turnitin不要在初始發(fā)布時(shí)為其校園激活A(yù)I檢測(cè)。

他擔(dān)憂的是，每學(xué)期約2萬(wàn)份學(xué)生論文，通過(guò)Turnitin進(jìn)行檢測(cè)的教師可能會(huì)因誤報(bào)，從而導(dǎo)致毫無(wú)根據(jù)的學(xué)術(shù)誠(chéng)信調(diào)查。教師不應(yīng)該成為第三方軟件系統(tǒng)的專(zhuān)家。