大家知道，宣傳中的ChatGPT能夠采用多種語(yǔ)言編寫代碼，包括Python和Java，但最新的一項(xiàng)研究卻讓人驚掉下巴！

根據(jù)美國(guó)普渡大學(xué)最近開展的研究，ChatGPT提交給StackOverflow有關(guān)數(shù)百個(gè)軟件開發(fā)問(wèn)題的回答，有一半以上是錯(cuò)誤的。

研究人員還發(fā)現(xiàn)，與人類用戶在Stack Overflow上提交的答案相比，34%的用戶更喜歡ChatGPT給出的答案，盡管AI系統(tǒng)生成的答案中包含一些錯(cuò)誤。

專家對(duì)此表示，如果開發(fā)人員繼續(xù)依賴ChatGPT來(lái)解決他們的編程困境，他們的職業(yè)聲譽(yù)將面臨風(fēng)險(xiǎn)。

ChatGPT回答編程問(wèn)題錯(cuò)誤率過(guò)半

ChatGPT是OpenAI于2022年11月推出的聊天機(jī)器人，其背后的關(guān)鍵技術(shù)是GPT大語(yǔ)言模型，其底層模型也被用于創(chuàng)建開發(fā)人員廣泛使用的微軟Github編碼助理Copilot。 

普渡大學(xué)的這項(xiàng)研究首次全面考察了ChatGPT對(duì)定期在線分享的問(wèn)題給出回答的特點(diǎn)和可用性。該團(tuán)隊(duì)讓ChatGPT回答了此前發(fā)布在Stack Overflow上的517個(gè)問(wèn)題，對(duì)比正確答案發(fā)現(xiàn)錯(cuò)誤率超過(guò)一半。 

隨著ChatGPT在全球各地的風(fēng)靡，Stack Overflow在今年早些時(shí)候禁止了AI生成的回復(fù)。當(dāng)時(shí)，Stack Overflow將ChatGPT給出的答案描述為“表面上很好，但有很多錯(cuò)誤”。

Stack Overflow的一位發(fā)言人當(dāng)時(shí)解釋說(shuō):“ChatGPT和其他生成式AI技術(shù)給出的答案，對(duì)于那些提出問(wèn)題并尋找正確答案的用戶來(lái)說(shuō)是有害的?！?nbsp;

自從發(fā)布以來(lái)，OpenAI對(duì)ChatGPT平臺(tái)和底層模型進(jìn)行了逐步改進(jìn)，但是來(lái)到GPT-4后，其回答仍然不準(zhǔn)確。Stack Overflow后續(xù)也接受并采用了AI技術(shù)，但僅僅只是用于對(duì)其內(nèi)容進(jìn)行分類。

普渡大學(xué)在研究中發(fā)現(xiàn)，ChatGPT給出的一半以上的答案是錯(cuò)誤的，因?yàn)樗鼪]有正確理解問(wèn)題的概念。研究人員在報(bào)告中寫道，“即使ChatGPT能夠理解問(wèn)題，它也無(wú)法理解如何解決問(wèn)題。它經(jīng)常關(guān)注問(wèn)題的錯(cuò)誤部分，或者在沒有完全理解問(wèn)題微小細(xì)節(jié)的情況下給出高水平的解決方案?！?/p>

研究人員還發(fā)現(xiàn)，ChatGPT的推理能力也很有限，這導(dǎo)致它在不考慮結(jié)果的情況下創(chuàng)造解決方案、代碼和公式。

據(jù)報(bào)道，OpenAI也已意識(shí)到此中不足。作為應(yīng)對(duì)，OpenAI在ChatGPT中添加了一個(gè)代碼解釋器，允許AI在沙箱中運(yùn)行它創(chuàng)建的代碼，以檢查錯(cuò)誤并評(píng)估輸出質(zhì)量，驗(yàn)證最終響應(yīng)進(jìn)行更改并提供更準(zhǔn)確的解決方案。然而，這一功能仍處于測(cè)試階段，而且僅對(duì)ChatGPT Plus的用戶可用。 

開發(fā)人員依賴ChatGPT答案面臨風(fēng)險(xiǎn) 

然而，盡管ChatGPT有明顯的缺點(diǎn)，而且77%的回復(fù)比人類的回復(fù)更冗長(zhǎng)，但許多用戶仍然依賴ChatGPT來(lái)回答他們有關(guān)編程的緊迫問(wèn)題。

研究員宣稱，“由于ChatGPT的全面性和清晰的語(yǔ)言風(fēng)格，39.34%的用戶仍然喜歡它給出的答案。我們的研究結(jié)果表明，有必要仔細(xì)檢查和糾正ChatGPT中的錯(cuò)誤，同時(shí)讓用戶意識(shí)到看似正確的ChatGPT答案所帶來(lái)的風(fēng)險(xiǎn)?！?nbsp;

IT 咨詢和服務(wù)提供商Doherty Associates企業(yè)架構(gòu)總監(jiān)Owen Morris說(shuō)，使用AI有很多好處，但也有缺點(diǎn)，用戶在使用ChatGPT等平臺(tái)之前應(yīng)該始終考慮到這一點(diǎn)。

他說(shuō):“像ChatGPT這樣的工具根據(jù)訓(xùn)練過(guò)的數(shù)據(jù)(包括從互聯(lián)網(wǎng)和其他來(lái)源抓取的數(shù)據(jù))提供見解，但也會(huì)保留他們的偏見，因此人類的參與對(duì)于準(zhǔn)確性和附加值仍然至關(guān)重要。重要的是要記住利用自己的團(tuán)隊(duì)，這樣他們就可以貢獻(xiàn)他們自己的領(lǐng)域特定知識(shí)和數(shù)據(jù)，以增強(qiáng)模型的適用性?！?nbsp;

他警告，如果沒有人為監(jiān)督將ChatGPT提供的有關(guān)軟件開發(fā)的回答進(jìn)行批判性評(píng)估，將不正確或有害的信息納入開發(fā)工作中，開發(fā)人員將面臨很大的風(fēng)險(xiǎn)，包括影響編程質(zhì)量，甚至影響他們的職業(yè)聲譽(yù)。