陶哲軒:初學(xué)者不宜用AI工具做專家級(jí)任務(wù),GPT對(duì)專家?guī)椭淮?/h1>
近幾個(gè)月來(lái),著名數(shù)學(xué)家陶哲軒一直嘗試用 ChatGPT 等大模型 AI 工具來(lái)輔助解決數(shù)學(xué)問(wèn)題,并與大家分享結(jié)果、交流心得,比如用 ChatGPT 寫代碼、證明數(shù)學(xué)定理、生成 LaTeX 表達(dá)式程序代碼等。
對(duì)于自己的研究以及人們來(lái)說(shuō),GPT 等 AI 工具的作用究竟大不大呢?近兩天,陶哲軒似乎得出了他的結(jié)論。
陶哲軒發(fā)現(xiàn),雖然 AI 工具對(duì)自己研究中的核心數(shù)學(xué)部分并不是那么有用(或者可能只是因?yàn)椴幌朐谧哉J(rèn)為可以熟練完成的任務(wù)上嘗試),但是在生成代碼和創(chuàng)建論文中的流程圖初稿(他使用了自己過(guò)去很少用的 LaTeX 包 (tikz))等任務(wù)中都非常有用。
總的來(lái)說(shuō),他發(fā)現(xiàn) GPT 允許自己為一項(xiàng)計(jì)算任務(wù)抽象出特定語(yǔ)言,比如 Python、SAGE、正則表達(dá)式、LaTeX 等。他可以用自然語(yǔ)言向 GPT 表達(dá)自己的請(qǐng)求,然后 GPT 會(huì)以合適的語(yǔ)言提供適當(dāng)?shù)拇a。盡管在沒(méi)有完全集成的情況下,他依然必須將 GPT 輸出內(nèi)容復(fù)制粘貼到可以編譯的文檔中。
陶哲軒承認(rèn) GPT 開(kāi)始改變他的工作流程,過(guò)去會(huì)避免使用代碼密集型解決方案來(lái)解決任務(wù),但現(xiàn)在這種狀況正在消失。他發(fā)現(xiàn)自己更愿意將編碼作為日常工作的一部分了。
就拿 GitHub Copilot 而言,陶哲軒驚喜地發(fā)現(xiàn),在使用 VSCode+LaTeXworkshop 設(shè)置后,它可以自動(dòng)完成標(biāo)準(zhǔn)信函了。僅給出開(kāi)頭段落和接下來(lái)的句子,Copilot 提供的其余段落與他實(shí)際要寫的內(nèi)容非常接近。并且通過(guò)對(duì) Copilotshuchu 內(nèi)容的小修小改,他可以將完成標(biāo)準(zhǔn)信函的時(shí)間省掉一大半。
陶哲軒分享了自己在論文中使用自動(dòng)完成功能的一張截圖。在嘗試自動(dòng)完成證明大綱時(shí),Copilot 確實(shí)引用了論文其余部分的相關(guān)結(jié)果,但隨后給出了一些隨機(jī)分析數(shù)論的廢話。
到目前為止,除了一些非常短的自動(dòng)完成工作或編寫重復(fù)的文本模式之外,他發(fā)現(xiàn) Copilot 在寫數(shù)學(xué)論文時(shí)更有趣而不是有用,但未來(lái)可能會(huì)有令他驚訝的效果。
事實(shí)證明,GPT 提供的正則表達(dá)式雖然沒(méi)有按照陶哲軒想要的方式來(lái)處理嵌套分隔符,但足夠接近。他可以在自己閱讀正則表達(dá)式文檔后調(diào)整成想要的。在他看來(lái),需要一定的正則表達(dá)式技能才能完成類似的任務(wù),但要比沒(méi)有 GPT 輔助時(shí)所需要的技能少。
一般來(lái)說(shuō),GPT 似乎允許人們?cè)诨谖谋镜娜蝿?wù)中提升自己的技能,但隨著技能水平的提高,「收益」遞減。完全不熟悉任務(wù)的人可能會(huì)通過(guò) GPT 成為高級(jí)初學(xué)者,初學(xué)者可以達(dá)到中級(jí)技能水平,中級(jí)水平的人可能會(huì)成為專家,至少在某些方面是這樣。但對(duì)于專家而言,使用 GPT 進(jìn)一步提供的收益相對(duì)不大。
因此,陶哲軒不建議初學(xué)者使用 AI 工具來(lái)完成專家級(jí)的任務(wù),因?yàn)闊o(wú)法正確地對(duì)輸出進(jìn)行檢查。不過(guò)他也認(rèn)為,人們可以用 AI 工具來(lái)完成比正常水平高出一個(gè)技能水平的任務(wù),這樣有足夠的能力來(lái)檢查輸出的結(jié)果,并決定是否接受或者額外調(diào)整。
有人問(wèn)了,萬(wàn)一人們沒(méi)有清楚意識(shí)到這種技能水平上的差距呢?陶哲軒表示,他相信隨著 AI 工具變得越來(lái)越熟悉,大多數(shù)人會(huì)對(duì)這些工具能做什么、不能做什么有更準(zhǔn)確的心理模型,并進(jìn)行相應(yīng)的校準(zhǔn)。
當(dāng)然陶哲軒也同意對(duì)公眾展開(kāi) AI 教育以及進(jìn)行獨(dú)立的輸出驗(yàn)證,這些都會(huì)成為現(xiàn)代世界越來(lái)越重要的技能。
你贊同陶哲軒的觀點(diǎn)嗎?
原文鏈接:https://mathstodon.xyz/@tao/111024521278833999