最近，OpenAI高級(jí)研究副總裁Mark Chen在爐邊談話中，正式否認(rèn)「Scaling Law撞墻論」。

他表示，并沒(méi)有看到Scaling Law撞墻，甚至OpenAI還有兩個(gè)范例——o系列和GPT系列，來(lái)保持這種Scaling。

用他的話說(shuō)，「我們準(zhǔn)確地掌握了需要解決的技術(shù)挑戰(zhàn)」。

o1不僅是能力提升，也是安全改進(jìn)

從經(jīng)濟(jì)角度看，OpenAI已經(jīng)是最有價(jià)值的科技公司之一，因?yàn)樗麄優(yōu)檎鎸?shí)用戶提供了數(shù)十億美元的價(jià)值。

兩年前，AI最前沿的任務(wù)還是小學(xué)數(shù)學(xué)題；而今天，它們已經(jīng)可以做最難的博士生題目。

因此，我們正處于這樣一個(gè)階段：AI模型能夠解決人類有史以來(lái)最困難的考試。

一旦這些模型解決了博士級(jí)別的問(wèn)題，下一步，即使為世界提供實(shí)用性和價(jià)值。

當(dāng)所有基準(zhǔn)測(cè)試飽和之后，需要考慮的就是是否為最終用戶提供了價(jià)值。

雖然今天AI通過(guò)了基準(zhǔn)測(cè)試，但它并沒(méi)有完全捕捉到AGI應(yīng)該做的事。

好在，在過(guò)去一年里，OpenAI內(nèi)部發(fā)生了最令人興奮的進(jìn)展——o1誕生了。

這不僅是一種能力上的提升，從根本上來(lái)說(shuō)也是一種安全改進(jìn)。

為什么這么說(shuō)？

想象我們?cè)噲D對(duì)一個(gè)模型進(jìn)行越獄，舊的GPT系統(tǒng)必須立即做出回應(yīng)，所以可能更容易被觸發(fā)。

但當(dāng)我們有一個(gè)推理器時(shí)，模型卻會(huì)反思：這個(gè)問(wèn)題是不是試圖讓我做一些與我要做的不一致的事？

此時(shí)，它獲得的額外思考和反思的時(shí)間，會(huì)讓它在很多安全問(wèn)題上更穩(wěn)健。

這也符合OpenAI研究者最初的預(yù)期。

當(dāng)我們談到推理時(shí)，這是一個(gè)廣泛的概念，不僅僅用于數(shù)學(xué)或編程。

在編程中使用的推理方法，可能也適用于談判，或者玩一個(gè)很難的游戲。

而說(shuō)到基準(zhǔn)測(cè)試，在安全性上也有同樣的挑戰(zhàn)。

安全性有點(diǎn)類似于這種對(duì)抗性攻擊框架。在這種情況下，攻擊是非常強(qiáng)烈的，因此我們?cè)谶@方面還有很長(zhǎng)的路要走。

如何到達(dá)五級(jí)AGI

AGI從一級(jí)到五級(jí)，關(guān)鍵推動(dòng)因素是什么呢？

OpenAI提出的框架中，定義了AGI的不同級(jí)別，具體來(lái)說(shuō)，就是從基本推理者發(fā)展到更智能的系統(tǒng)，再到能在現(xiàn)實(shí)世界里采取行動(dòng)的模型，最終到達(dá)更自主、完全自主的系統(tǒng)。

在這個(gè)過(guò)程中，穩(wěn)健性和推理能力是關(guān)鍵。

今天我們還不能依賴很多智能體系統(tǒng)，原因是它們還不夠可靠。這就是OpenAI押注推理能力的原因。

OpenAI之所以大量投資，就是對(duì)此極有信心：推理能力將推動(dòng)可靠性和穩(wěn)健性。

所以，我們目前正處于哪一階段呢？

OpenAI研究者認(rèn)為，目前我們正從第一階段向第二階段過(guò)渡，朝著更智能系統(tǒng)的方向發(fā)展。

雖然目前，許多智能體系統(tǒng)仍然需要人類監(jiān)督，但它們已經(jīng)變得越來(lái)越自主。模型可以自行原作，我們對(duì)于AI系統(tǒng)的信任也在逐漸增加。

合成數(shù)據(jù)的力量

合成數(shù)據(jù)，就是不由人類直接產(chǎn)生的數(shù)據(jù)，而是模型生成的數(shù)據(jù)。

有沒(méi)有什么好的方法，來(lái)生成用于訓(xùn)練模型的合成數(shù)據(jù)呢？

我們?cè)跀?shù)據(jù)稀缺或數(shù)據(jù)質(zhì)量較低的數(shù)據(jù)集中，可以看到合成數(shù)據(jù)的力量。

比如，在訓(xùn)練像DALL-E這樣的模型時(shí)，就利用了合成數(shù)據(jù)。

訓(xùn)練圖像生成模型的一個(gè)核心問(wèn)題是，當(dāng)我們?nèi)タ椿ヂ?lián)網(wǎng)上帶標(biāo)題的圖片時(shí)，標(biāo)題和它所描述的圖片之間通常關(guān)聯(lián)性很低。

你可能會(huì)看到一張熱氣球的照片，而標(biāo)題并不是描述氣球本身，而是「我度過(guò)最好的假期」之類的。

在OpenAI研究者看來(lái)，在這種情況下，就可以真正利用合成數(shù)據(jù)，訓(xùn)練一個(gè)能為圖片生成高保真標(biāo)題的模型。

然后，就可以為整個(gè)數(shù)據(jù)集重新生成捕獲了，OpenAI已經(jīng)證明，這種方法非常有效。

數(shù)據(jù)集中某方面較差的其他領(lǐng)域，也可以采用這個(gè)辦法。

Scaling Law沒(méi)有撞墻

最近很火熱的一個(gè)觀點(diǎn)是，Scaling Law已經(jīng)撞墻了，許多大型基礎(chǔ)實(shí)驗(yàn)室都遇到了預(yù)訓(xùn)練的瓶頸。

果真如此嗎？

Mark Chen的觀點(diǎn)是，雖然的確在預(yù)訓(xùn)練方面遇到一些瓶頸，但OpenAI內(nèi)部的觀點(diǎn)是，已經(jīng)有了兩種非?；钴S的范式，讓人生成無(wú)限希望。

他們探索了一系列模型的測(cè)試時(shí)Scaling范式，發(fā)現(xiàn)它們真的在迅速發(fā)展！

在推理模型的Scaling上，也沒(méi)有同樣的障礙。

其實(shí)，從早期入職OpenAI后，研究者就一直遇到多個(gè)技術(shù)挑戰(zhàn)。現(xiàn)在這些挑戰(zhàn)已經(jīng)非常具體，在Mark Chen看來(lái)，沒(méi)有什么是完全無(wú)法應(yīng)對(duì)的。

在OpenAI內(nèi)部，大家經(jīng)常說(shuō)推理范式已經(jīng)達(dá)到了一定的成熟度。有些產(chǎn)品已經(jīng)有了與市場(chǎng)的契合點(diǎn)，雖然進(jìn)展仍然非常緩慢。

過(guò)去幾周內(nèi)，最令人驚訝的使用場(chǎng)景，莫過(guò)于和o1進(jìn)行頭腦風(fēng)暴了。

o1和GPT-4的對(duì)比，讓人感受到了全新的深度：人類仿佛終于有了一個(gè)真正能互動(dòng)的陪練伙伴，而非僅僅對(duì)自己的想法進(jìn)行評(píng)論。

它仿佛一個(gè)真正的實(shí)體，非常有參與感。

o1的推理直覺，是如何產(chǎn)生的

OpenAI的研究者，是如何想到o1中的推理直覺的呢？

這是一個(gè)集體努力的結(jié)果，不過(guò)他們也進(jìn)行了很長(zhǎng)時(shí)間的工作，進(jìn)行了一些探索性的重點(diǎn)嘗試。

在兩年前，他們就覺得，AI雖然非常聰明，但在某些方面是不足的。不知為什么，總是感覺不太像AGI。

當(dāng)時(shí)他們假設(shè)，原因在于，這是因?yàn)锳I被要求立即做出回應(yīng)。

就算我們要求一個(gè)人類立即做出回應(yīng)，ta也未必能給出最好的答案。

一個(gè)人可能會(huì)說(shuō)，我需要思考一會(huì)，或者我需要做一些研究，明天再答復(fù)你。

就在這里，OpenAI研究者發(fā)現(xiàn)了亮點(diǎn)！

其實(shí)這里缺少的，是連接系統(tǒng)一和系統(tǒng)二之間的鴻溝。

快速思考有，知識(shí)也有，但卻沒(méi)有慢速思考，核心假設(shè)就在這里。

研究者做了許多不同嘗試，來(lái)解決這個(gè)挑戰(zhàn)。

一群非常具有探索精神的研究者，獲得了一些生命跡象。

圍繞這些跡象，他們組建了研究團(tuán)隊(duì)，擴(kuò)大的項(xiàng)目規(guī)模，投入了大量的數(shù)據(jù)生成工作。

從快速進(jìn)展中獲取預(yù)測(cè)結(jié)果，是整個(gè)案例中最難的部分。

開始時(shí)，就像登月計(jì)劃一樣，會(huì)遭遇很多失敗。

有三四個(gè)月，他們完全沒(méi)取得多少有意義的進(jìn)展。

好在最終，總會(huì)有人獲得重大突破。這也就給了他們足夠的動(dòng)力來(lái)投入更多資源，往前推動(dòng)一點(diǎn)。

從o1推出幾個(gè)月后，OpenAI和許多外部合作伙伴進(jìn)行了交流。

最酷的一件事就是，他們發(fā)現(xiàn)它比使用微調(diào)方法要好得多——它已經(jīng)不太容易被問(wèn)題難倒了。

很多應(yīng)用已經(jīng)超出了研究者之前關(guān)注的數(shù)學(xué)和科學(xué)領(lǐng)域。當(dāng)看到AI的推理能力能泛化到這些領(lǐng)域，真的令人驚喜。

比如在醫(yī)學(xué)領(lǐng)域，模型在醫(yī)學(xué)癥狀的判斷上，涉及形成假設(shè)、驗(yàn)證，隨后再形成新的假設(shè)。

即使在研究者沒(méi)有特別關(guān)注的領(lǐng)域，模型也進(jìn)展得很快，比如醫(yī)學(xué)、法律推理。

而他們也確信，在未來(lái)還會(huì)有其他還未測(cè)試過(guò)的領(lǐng)域，AI會(huì)有重大進(jìn)展。

OpenAI仍然注重安全

Mark Chen肯定地說(shuō)，目前OpenAI仍然像早期那樣，致力于研究和安全。

為此，他管理著一個(gè)非常龐大的研究項(xiàng)目組合。并且一直在思考著應(yīng)該分配多少資源和力量來(lái)進(jìn)行探索性研究，而不是短期的即時(shí)項(xiàng)目。

不過(guò)，在這方面，OpenAI和很多大型基礎(chǔ)實(shí)驗(yàn)室不同。

這些大實(shí)驗(yàn)室有很多優(yōu)秀的研究者，可以沒(méi)有方向地進(jìn)行研究，自由地去做任何事。

但對(duì)OpenAI來(lái)說(shuō)，他們比這些實(shí)驗(yàn)室的規(guī)模都要小，因此需要更有方向性。

他們選擇了一些非常有信心的探索性項(xiàng)目，在這些領(lǐng)域內(nèi)，給了研究者很大的自由度。

也就是說(shuō)，OpenAI并不會(huì)進(jìn)行毫無(wú)目標(biāo)的探索，而且充分利用了自己規(guī)模小的優(yōu)勢(shì)。

現(xiàn)在是AI創(chuàng)業(yè)的好時(shí)機(jī)

OpenAI的研究者也認(rèn)為，現(xiàn)在是基于AI創(chuàng)立初創(chuàng)公司的好時(shí)機(jī)。

基礎(chǔ)模型的玩家專注的是通用性。

但像OpenAI這樣的公司，不可能涉足每一個(gè)垂直領(lǐng)域。

在特定領(lǐng)域定制一個(gè)模型，有很多空間和可能性。

現(xiàn)在，我們已經(jīng)可以看到一個(gè)豐富的初創(chuàng)企業(yè)生態(tài)系統(tǒng)，這些企業(yè)在OpenAI的基礎(chǔ)上構(gòu)建了各種類型的應(yīng)用。

通常情況下，初創(chuàng)企業(yè)之所以能夠成功，是因?yàn)樗麄冎啦?jiān)信某個(gè)秘密，而市場(chǎng)上的其他人并不知道這個(gè)秘密。

在AI領(lǐng)域，實(shí)際上就是在一個(gè)不斷變化的技術(shù)棧上進(jìn)行構(gòu)建，我們無(wú)法預(yù)測(cè)下一個(gè)模型會(huì)何時(shí)出現(xiàn)。

表現(xiàn)最好的初創(chuàng)企業(yè)，就是那些有直覺，在剛剛開發(fā)發(fā)揮作用的邊緣技術(shù)上進(jìn)行構(gòu)建的企業(yè)，它們有一種生命力。

當(dāng)我們擁有AGI，就是相當(dāng)強(qiáng)大的形式，真正釋放了全部潛力。

想象一個(gè)人在一周內(nèi)，就能創(chuàng)建一個(gè)帶來(lái)巨大價(jià)值的大型初創(chuàng)公司。

一個(gè)人在幾天內(nèi)產(chǎn)生巨大影響的想法，已經(jīng)不僅限于商業(yè)領(lǐng)域。

這種懷舊的感覺就像17世紀(jì)，科學(xué)家們?cè)谔接懳锢韺W(xué)一樣。

我們能否回到那種氛圍，一個(gè)人能做出醫(yī)學(xué)、物理學(xué)或計(jì)算機(jī)科學(xué)領(lǐng)域的重大發(fā)現(xiàn)？

而這些，都是因?yàn)锳I。