本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

北大團(tuán)隊(duì)教會(huì)AI把人話當(dāng)編程語(yǔ)言用。

這下大語(yǔ)言模型（LLM）不光能做對(duì)數(shù)學(xué)題，而且解題過(guò)程你也能看懂！

數(shù)學(xué)，曾經(jīng)是不知多少人學(xué)生時(shí)代的夢(mèng)魘。但是現(xiàn)在，LLM或許可以幫你脫離苦海了。

用自然語(yǔ)言編程，本質(zhì)就是描述步驟再執(zhí)行，GPT3.5其實(shí)本來(lái)就會(huì)，但結(jié)果卻不忍直視——往往包含不完整步驟甚至事實(shí)錯(cuò)誤。

于是團(tuán)隊(duì)便提出了Learning to Program (LP)方法，讓LLM從自然語(yǔ)言程序數(shù)據(jù)集中進(jìn)行學(xué)習(xí)，并用學(xué)到的內(nèi)容指導(dǎo)其推理過(guò)程。

具體來(lái)說(shuō)，他們將一些高中數(shù)學(xué)問(wèn)題和對(duì)應(yīng)解題程序以自然語(yǔ)言形式灌輸給GPT。

經(jīng)過(guò)訓(xùn)練，ChatGPT具備了團(tuán)隊(duì)預(yù)期的解題能力。

在使用10個(gè)高中難度的數(shù)學(xué)問(wèn)題進(jìn)行的零樣本測(cè)試中，LP加持后的LLM成績(jī)顯著提高。

這10個(gè)問(wèn)題包括幾何、代數(shù)和微積分，具體如下表所示：

可以看出，在每一項(xiàng)任務(wù)中，有LP加持的ChatGPT表現(xiàn)，無(wú)論是在零樣本還是少樣本測(cè)試中，均優(yōu)于獨(dú)立或自編程的版本。

對(duì)于第8類問(wèn)題，LP加持版更是在少樣本測(cè)試中取得了100分的成績(jī)。

團(tuán)隊(duì)又將難度提高，測(cè)試其在（高等數(shù)學(xué)視角下的）中級(jí)代數(shù)（IA）、數(shù)論（NT）、幾何、統(tǒng)計(jì)概率（CP）等方面的表現(xiàn)，結(jié)果均好于無(wú)加持的ChatGPT或僅有極小的差距。

當(dāng)然，這些數(shù)據(jù)還不能證明LP訓(xùn)練在提高ChatGPT數(shù)學(xué)成績(jī)當(dāng)中的關(guān)聯(lián)性。

于是團(tuán)隊(duì)使用一道幾何問(wèn)題，評(píng)估了ChatGPT在LP訓(xùn)練前、中、后三個(gè)階段的表現(xiàn)。

結(jié)果顯示，輸出內(nèi)容的正確率的確隨著訓(xùn)練過(guò)程的進(jìn)行在逐步提高。

在接下來(lái)的質(zhì)量評(píng)價(jià)中，訓(xùn)練后的LLM可以給出多種通用性策略。

因此，團(tuán)隊(duì)認(rèn)為，在今后的訓(xùn)練中，只需要將某一類問(wèn)題的通用解法教給LLM。

有了通用方法，它們就可以舉一反三，解決未知但性質(zhì)相同的問(wèn)題。

LP的訓(xùn)練過(guò)程是怎樣的

LP訓(xùn)練的第一步，是要先準(zhǔn)備出問(wèn)題，以及對(duì)應(yīng)的用自然語(yǔ)言編寫(xiě)出的程序，作為訓(xùn)練數(shù)據(jù)集。

這種自然語(yǔ)言程序不是具體的解題步驟，它們需要具有更強(qiáng)的通用性。

相應(yīng)的，準(zhǔn)備的問(wèn)題也不是具體的，而是某一類問(wèn)題。

既要簡(jiǎn)短明確，同時(shí)又要考慮到實(shí)際過(guò)程中所有可能出現(xiàn)的情況。

這些自然語(yǔ)言程序主要有三種來(lái)源：機(jī)器自生成、人工編寫(xiě)和經(jīng)LP訓(xùn)練的LLM生成。

人工編寫(xiě)工作量過(guò)于龐大，LP訓(xùn)練已經(jīng)是結(jié)果，所以實(shí)際使用的數(shù)據(jù)集主要來(lái)源于第一種途徑。

有了訓(xùn)練數(shù)據(jù)，LLM便可以結(jié)合數(shù)據(jù)集中的問(wèn)題，學(xué)習(xí)句子、段落和公式。

初步學(xué)習(xí)完成之后，就要讓LLM進(jìn)行預(yù)測(cè)，并與預(yù)設(shè)結(jié)果比較，計(jì)算誤差。

同時(shí)，所有不符合預(yù)設(shè)正確結(jié)果的輸出均被收集，構(gòu)成了錯(cuò)誤數(shù)據(jù)集。

錯(cuò)誤數(shù)據(jù)集在之后的階段也將作為L(zhǎng)LM學(xué)習(xí)的內(nèi)容，以避免再次出現(xiàn)同樣的失誤。

基于這些錯(cuò)誤數(shù)據(jù)，研究人員讓LLM對(duì)所提出的策略進(jìn)行回溯，但又引發(fā)了新的問(wèn)題：

一是出現(xiàn)了重復(fù)的解決方案需要移除，二是有些方案自身內(nèi)容雖然沒(méi)錯(cuò)，但與問(wèn)題并不匹配。

最重要的第三點(diǎn)，是輸入數(shù)據(jù)的長(zhǎng)度會(huì)隨著回溯的過(guò)程不斷增加……

于是團(tuán)隊(duì)還需要對(duì)回溯數(shù)據(jù)進(jìn)行壓縮，并判斷它們對(duì)LLM改正錯(cuò)誤是否有幫助。

經(jīng)過(guò)這一系列的處理，便可以將回溯數(shù)據(jù)作為訓(xùn)練樣本，升級(jí)LLM程序了。

最終，升級(jí)后的程序經(jīng)過(guò)檢驗(yàn)，就可以使用了。

△舉個(gè)例子：已知直角三角形兩邊，求某角正弦值

團(tuán)隊(duì)介紹

團(tuán)隊(duì)的領(lǐng)導(dǎo)者是北京大學(xué)王選計(jì)算機(jī)研究所博士生導(dǎo)師趙東巖研究員和微軟亞洲研究院首席研究員段楠博士。

趙東巖2000年獲得北大博士學(xué)位，主要研究方向?yàn)樽匀徽Z(yǔ)言處理、大規(guī)模語(yǔ)義數(shù)據(jù)管理、基于知識(shí)的智能服務(wù)技術(shù)。

段楠博士畢業(yè)于天津大學(xué)，于2012年進(jìn)入微軟一直研究院，并在2018年6月晉升為首席研究員。

此外，他還多次擔(dān)任NLP/AI學(xué)術(shù)會(huì)議程序主席，發(fā)表學(xué)術(shù)論文100余篇，持有專利20余項(xiàng)。

論文地址：https://arxiv.org/abs/2304.10464