基于生成式人工智能工具，比如ChatGPT、Bard等聊天機器人的出現(xiàn)，以及如何將AI工具用于學術研究引發(fā)了巨大的爭議，但與此同時，AI生成的代碼用于科學研究的價值被忽視了。

與ChatGPT生成文本導致的剽竊問題相比，用AI抄代碼顯然爭議更小，開放科學甚至鼓勵「代碼共享」和「代碼重用」，溯源起來也很方便，比如python里用到「import」導入依賴包就算引用。

最近Nature上發(fā)表了一篇評論文章，作者團隊討論了ChatGPT在科學編程領域的三個潛在能力，包括頭腦風暴、分解復雜任務、以及處理簡單但耗時的任務。

文章鏈接：https://www.nature.com/articles/s41559-023-02063-3

研究人員通過使用ChatGPT將自然語言翻譯成計算機可讀代碼，探索了使用生成式AI來增強科學編碼的能力和局限性。

實驗中的例子主要探索了可能與生態(tài)學、進化及其他領域相關的通用任務，研究人員發(fā)現(xiàn)，使用ChatGPT可以完成80%-90%的代碼編寫任務。

如果任務被分解成小的、可管理的代碼塊，并帶有精確的提示作為查詢，ChatGPT可以生成非常有用的代碼。

值得注意的是，用Google的Bard進行同樣的實驗通常會得到類似的結果，但代碼中的錯誤更多，所以這篇文章主要使用ChatGPT進行實驗。

第一作者Cory Merow是一位定量生態(tài)學家，主要研究方向是建立機制模型來預測人口和社區(qū)對環(huán)境變化的反應。即使是最好的數(shù)據(jù)集在預測全球變化反應方面也是不完善的，所以需要開發(fā)一些工具來結合數(shù)據(jù)源和探索數(shù)據(jù)集，以深入了解生物系統(tǒng)可能發(fā)生的變化。

ChatGPT助力科學編碼

ChatGPT以回歸模型GPT-3為基礎，在海量的網(wǎng)頁、書籍等文本上進行擬合訓練，不需要搜索即可生成文本。

所以ChatGPT更擅長內(nèi)插（interpolating，即預測與訓練數(shù)據(jù)相似的文本），而不擅長外推（extrapolating，即預測與訓練樣本不同的新文本）。

訓練集的龐大規(guī)模是一個優(yōu)勢，意味著GPT-3已經(jīng)看到了大量的語言模式，使其能夠內(nèi)插并增加生成對人類有用回復的可能性。

不過對代碼生成任務來說，GPT-3并不知道如何編程，只是知道代碼看起來像什么樣，以及哪些詞最可能出現(xiàn)在下一個位置，其工作原理類似于自動補全，基于概率模型預測下一個代碼塊（chunk），塊通常比詞（word）要小，也可以叫做token

生成正確token的概率基于所有token的概率乘積，即增加預測token的數(shù)量或降低選中token的確定性會增加任務的難度，從而降低獲得正確token的概率。

因此，想要增加正確token的概率，需要縮短生成任務的長度，或是提供更具體的指令。

最后，研究人員提醒，ChatGPT生成的文本有些看起來像代碼，但可能無法執(zhí)行，所以在編碼過程中需要仔細觀察調(diào)試。

頭腦風暴工具

ChatGPT可以很好地檢索多個數(shù)據(jù)源，例如在生態(tài)領域可以同時獲取植物性狀、物種分布區(qū)域和氣象數(shù)據(jù)。

雖然ChatGPT提供的數(shù)據(jù)有些是不正確的，但通過其提供的鏈接可以很快地校正這些錯誤。

不過ChatGPT并不能寫爬蟲從網(wǎng)站上下載數(shù)據(jù)，可能是因為R語言的包和底層應用程序接口（如R訪問數(shù)據(jù)庫的協(xié)議）更新過快，畢竟ChatGPT的訓練數(shù)據(jù)是在2021年構建的。

ChatGPT可以在遇到特定問題時提出各種統(tǒng)計技術，在后續(xù)的提問中可以生成更多基于用戶假設的指導意見，并提供一份初始代碼。

不過綜合（synthesis）過程只適用于提出并交流想法，仍然需要通過傳統(tǒng)的數(shù)據(jù)源（如論文等）進行事實核查。

需要注意的是，一些網(wǎng)站聲稱ChatGPT有能力對書籍寫摘要，不過從研究人員的測試結果來看，這種摘要綜合的結果完全不對，可能是因為測試用的書籍沒有在GPT-3訓練集中出現(xiàn)。

更難的任務需要更多的debug

ChatGPT非常擅長生成模板代碼，在特定指令下提供一份包含少量函數(shù)的短腳本代碼。

比如下面的例子中，研究人員要求ChatGPT將四個常用函數(shù)的輸入和輸出串一起。并提供一個將此函數(shù)用于模擬數(shù)據(jù)的示例代碼。

可以看到ChatGPT生成的結果幾乎是完美的，調(diào)試代碼只花了幾分鐘，不過需要在提示中非常具體地說明query，包括提供命名和用到的函數(shù)。

研究人員發(fā)現(xiàn)，成功的關鍵在于：

1、將復雜任務分解成多個子任務，每個子任務最好只需要少數(shù)幾個步驟即可完成，畢竟ChatGPT生成的代碼是基于概率文本預測模型的結果。

2、ChatGPT在使用已經(jīng)存在的函數(shù)時表現(xiàn)最佳，因為這時只涉及內(nèi)插而非外推。

例如，使用正則表達式（regex）從文本中提取信息的代碼對于許多開發(fā)人員來說是非常困難的，不過因為已經(jīng)有正則網(wǎng)站提供了大量在線示例，并可能出現(xiàn)在ChatGPT示例中，所以ChatGPT寫正則的性能還是不錯的。

3、學術界對ChatGPT最大的批評之一是其信息來源缺乏透明度。

對于代碼生成任務，通過指定「命名空間」（namespace），即在使用函數(shù)時顯式調(diào)用包名可以實現(xiàn)一定程度的透明性。

不過ChatGPT可能會直接復制個人的公開代碼而沒有引用出來，并且研究人員仍然有責任驗證正確的代碼歸屬人。

同時，如果要求生成更長的腳本會暴露出一些ChatGPT的缺陷，例如偽造函數(shù)名或參數(shù)等，這也是StackOverflow禁用ChatGPT生成代碼的原因。

但如果用戶提供了一組明確的執(zhí)行步驟，ChatGPT仍然可以生成一個有用的工作流模板，定義步驟之間的輸入和輸出之間的連接，這可能是用GPT-3外推生成新代碼的最有用的途徑。

目前ChatGPT還不能將偽代碼（用簡單語言描述的算法步驟） 轉(zhuǎn)換為完美的計算機可執(zhí)行代碼，但這可能離現(xiàn)實并不遙遠。

ChatGPT對于初學者、不熟悉的編程語言來說特別有幫助，因為初學者只會寫一些較短的腳本，調(diào)試更方便。

ChatGPT更擅長非創(chuàng)造性任務

ChatGPT最擅長解決的是耗時的公式化任務，可用于調(diào)試、檢測和解釋代碼中的錯誤。

ChatGPT在編寫函數(shù)文檔時也非常有效，例如使用roxygen 2的內(nèi)聯(lián)文檔語法，在標識出所有參數(shù)及類上非常高效，不過卻很少解釋如何使用函數(shù)。

一個關鍵的限制是ChatGPT的生成被限制在大約500個單詞，只能專注于較小代碼塊的生成，同時還可以生成單元測試以自動化確認代碼功能。

ChatGPT給出的大多數(shù)建議在定義測試的結構和檢查預期的對象類方面是很有幫助的。

最后，ChatGPT在對代碼進行重新格式化以遵循標準化（例如Google）代碼樣式方面非常有效。

未來屬于偽代碼

ChatGPT和其他人工智能驅(qū)動的自然語言處理工具已經(jīng)準備好將開發(fā)人員的簡單任務進行自動化，例如編寫短函數(shù)，語法調(diào)試，注釋和格式化，而擴展復雜性取決于用戶的調(diào)試意愿（以及他們的熟練程度）。

研究人員總結了ChatGPT在代碼生成上的功能，可以簡化科學領域的代碼編寫過程，不過人工檢查仍然是必要的，可運行的代碼并不一定意味著代碼能夠執(zhí)行預期的任務，因此單元測試或非正式的交互式測試仍然至關重要。

在解決方案可能由人類開發(fā)，并由ChhatGPT簡單復制生成的情況下，確保正確的代碼歸屬人至關重要。

目前已經(jīng)有聊天機器人開始自動提供指向其來源的鏈接（例如，微軟的必應），盡管這一步還處于起步階段。

與傳統(tǒng)方法相比，ChatGPT提供了一種學習編碼技能的替代方法，通過將偽代碼直接轉(zhuǎn)換為代碼，可以緩解編寫初始任務的障礙。

研究人員懷疑未來的進展將使用ChatGPT這樣的工具來自動調(diào)試編寫的代碼，根據(jù)遇到的錯誤迭代地生成、運行和提出新代碼，在實驗過程中，研究人員發(fā)現(xiàn)糾正代碼的能力有限，只有在非常具體的指令針對小代碼塊時才會偶爾成功，調(diào)試過程的效率遠低于人工調(diào)試。

研究人員猜想，隨著技術的進步（比如最近發(fā)布的GPT-4模型 ，據(jù)稱比GPT-3模型大10倍），自動化調(diào)試將會得到改進。

未來即將到來，現(xiàn)在是開發(fā)人員學習提示工程技能以利用新興AI工具的時候了，研究人員預計，使用人工智能生成的代碼將成為軟件開發(fā)各個方面越來越有價值的技能，這些技能是科學發(fā)現(xiàn)和理解的基礎。