奧特曼:o1僅僅是“推理模型的GPT-2”;黃仁勛:我給你加速50倍
AI界最有影響力的兩個人,同時出現(xiàn)在一場活動:
OpenAI CEO奧特曼,暗示了o1滿血版將在接下來幾個月發(fā)布。
英偉達(dá)創(chuàng)始人黃仁勛,則表示新一代Blackwell架構(gòu)GPU能給o1推理提速50倍。

奧特曼把o1在推理模型里的地位比作語言模型中的GPT-2階段。
幾年后人們將看到“推理模型的GPT-4”,不過最近幾個月就會有重大改進(jìn),新范式的進(jìn)步曲線非常陡峭。
L2“推理者”與L1“聊天機(jī)器人”非常不同,大家還沒找到該怎么用這些模型,我們也沒決定該為APP繼續(xù)添加什么功能。
不過最令人興奮的是L3“智能體”會來的非??臁?/p>
有醫(yī)學(xué)教授看到這里,已經(jīng)在考慮辭職的事了。

話說o1系列正式登Lmsys大模型競技場,第一次分?jǐn)?shù)結(jié)算,在數(shù)學(xué)任務(wù)上斷崖式領(lǐng)先,唯一的缺點就是回答有點慢了。

對此,老黃的看法是:
英偉達(dá)最新Blackwell架構(gòu)GPU將推理性能提高了50倍,意味著能把o1模型的響應(yīng)時間從幾分鐘縮短到幾秒。
以上內(nèi)容來自T-Mobile資本市場日,T-Mobile剛剛與OpenAI簽了大單,合作建立一個AI支持的客服系統(tǒng)。
不過這場活動上,除了幾家公司的合作之外,圍繞AI的現(xiàn)在和將來,兩位行業(yè)大佬還分享了更多值得關(guān)注的內(nèi)容。
至于o1在數(shù)學(xué)、代碼之外的任務(wù)表現(xiàn)如何,請看以下由o1主導(dǎo)、量子位輔助整理的原文精翻。
奧特曼:OpenAI的秘訣是信念和專注
主持人:我想先祝賀你們推出了o1模型,或許你可以向觀眾介紹一下這個新模型,因為它實在是太令人驚嘆了。
Sam Altman:是的,我們對此感到非常興奮,這也是我們長期以來一直在努力的方向。GPT系列模型在“系統(tǒng)1”類型的思維上表現(xiàn)出色,但我們真正想要的是能夠進(jìn)行推理的系統(tǒng)。
如果人工智能能夠解決更復(fù)雜的問題,其價值將是巨大的。你在GPT-4模型中已經(jīng)看到了一些端倪,但o1是真正第一個能夠進(jìn)行高級推理的系統(tǒng)。無論是復(fù)雜的編程挑戰(zhàn)、數(shù)學(xué)問題還是科學(xué)難題,你都可以獲得非常非凡的結(jié)果。我們相信,隨著時間的推移,這將與GPT系列一樣重要,并解鎖一系列新的、有價值的應(yīng)用場景。
主持人:你曾公開表示,我們現(xiàn)在看到的是預(yù)覽版,而且它會迅速迭代,未來幾個月內(nèi)會發(fā)生什么?
Sam Altman:我認(rèn)為現(xiàn)在的新型推理模型類似于我們在GPT-2時期。你會在未來幾年內(nèi)看到它發(fā)展到與 GPT-4 相當(dāng)?shù)乃?。即使在接下來的幾個月內(nèi),你也會看到顯著的進(jìn)步,隨著我們從o1-preview升級到o1正式版。
我認(rèn)為,在新范式出現(xiàn)的這些時刻,有很多有趣的事情,其中之一就是改進(jìn)曲線非常陡峭。一些模型目前無法解決的問題,可能在幾個月后就能解決,幾個月后又能解決更多。最重要的是,我們將看到一整套全新的使用方式,不僅僅是聊天界面。我們需要一些時間來構(gòu)建這些功能,其他人也需要時間,用戶也需要時間來適應(yīng)。這與GPT模型有很大的不同。
我們談到AI的五個級別:L1是聊天機(jī)器人(ChatBot),L2是我們剛剛達(dá)到的推理者(Reasoner),L3是智能體(Agent),L4是創(chuàng)新者(Innovator),能夠發(fā)現(xiàn)新的科學(xué)信息,L5是完整的組織(Organization)。
從L1到L2花了一段時間,但我認(rèn)為L2最令人興奮的事情之一是它能夠相對快速地實現(xiàn)L3,我們預(yù)計這種技術(shù)最終將帶來的智能體將非常有影響力。

(省略一段商業(yè)互吹)
主持人:稍微轉(zhuǎn)變一下話題,為什么 OpenAI 能夠領(lǐng)先?在這個領(lǐng)域你們做了什么不同的事情,使你們能夠以這樣的速度開發(fā)這些模型?
Sam Altman:首先,謝謝你的贊美,這是一個非常好的評價。我們建立在之前大量工作的基礎(chǔ)上,人工智能是一個古老的領(lǐng)域,人們長期以來一直在為其貢獻(xiàn)非常出色的想法。想一想在整個人類歷史中,人們?yōu)榱税l(fā)現(xiàn)半導(dǎo)體、制造芯片、建立網(wǎng)絡(luò)和這些大型數(shù)據(jù)中心所需要的所有工作,我們只是在這些之上做了我們自己的一小部分。
但我們盡力做到最好,我們努力擁有一個非常專注的研究計劃。我認(rèn)為其他研究計劃犯的錯誤之一是他們沒有足夠的信念和專注。一旦某些東西起作用,復(fù)制它非常容易。
所以我認(rèn)為成功的兩種方式是,要么成為一個出色的快速追隨者,復(fù)制OpenAI或其他成功的公司所做的事情,我并不是以負(fù)面的方式說這個,因為我認(rèn)為有很多公司只是等待看看什么有效,然后在改善和執(zhí)行方面做得非常好。
要么試圖推動前沿,這是非常困難的,需要在復(fù)雜的環(huán)境中跨越許多人擁有信念和專注,這是最好的前進(jìn)方式。這就是我們努力去做的。
我們真的相信深度學(xué)習(xí),我們真的相信從現(xiàn)在的位置到AGI及更遠(yuǎn)的道路,但我們愿意根據(jù)我們在過程中學(xué)到的東西進(jìn)行糾正。我們將繼續(xù)努力,以我們最大的力量去做下一件事,并相信隨著時間的推移,這將產(chǎn)生福利效應(yīng)。
這對我們來說確實有效,方法就這么簡單。
黃仁勛:年輕人都將擁有伴隨一生的機(jī)器人
(再省略一大段商業(yè)互吹和T-mobile業(yè)務(wù)內(nèi)容)
主持人:我們剛剛與Sam Altman談到了AI的快速發(fā)展,其中一件事是AI需要極低的延遲,快速的響應(yīng)時間。因為 AI 正在從傳統(tǒng)的文本形式轉(zhuǎn)向?qū)崟r響應(yīng)視頻、面部表情、與虛擬形象互動,這需要極高的響應(yīng)速度。未來的AI工作負(fù)載將需要靠近客戶的網(wǎng)絡(luò)中的計算能力。
黃仁勛:確實如此,我們現(xiàn)在將無線電計算和AI計算融合到一個架構(gòu)中,這臺我們構(gòu)建的計算機(jī)具有極低的延遲,CUDA也具有極低的延遲,能夠處理時間敏感的事務(wù),所有你需要的東西,以提供高質(zhì)量的語音服務(wù)。
人們沒有意識到的一點是,全球的無線網(wǎng)絡(luò)是非常冗余的。之所以冗余是因為當(dāng)有人需要時,必須提供極高的服務(wù)質(zhì)量。但當(dāng)沒有人需要時,那些基礎(chǔ)設(shè)施就閑置著,可以被重新利用。
因此,當(dāng)我們使其可以被軟件定義、加速化、能夠處理AI,我們現(xiàn)在將整個網(wǎng)絡(luò)轉(zhuǎn)化為在需要時可用于其他機(jī)會的過剩容量。這將是電信行業(yè)一個巨大的新增長機(jī)會。
主持人:我非常喜歡。我們還有幾分鐘時間,在我們讓你離開之前,讓我們換個話題,談?wù)勀闼d奮的事情。
英偉達(dá)擁有一個令人難以置信的視角,因為所有處于AI前沿的人都在與你們合作。當(dāng)你思考我們這一生中最具變革性的技術(shù)如何真正改變?nèi)藗兊纳顣r,是什么讓你感到興奮?你認(rèn)為AI將如何影響我們所有人?
黃仁勛:我們都會有一大批數(shù)字助手與我們一起工作。我非常喜歡這個想法,我將擁有一臺計算機(jī),隨著時間的推移,它與我一起工作,變得越來越聰明,理解我,幫助我完成任務(wù)。我喜歡我將擁有自己的R2-D2和C-3PO(星球大戰(zhàn)中的機(jī)器人)。
我的R2將一直跟著我。對于許多年輕人來說,他們將擁有自己的R2,伴隨他們一生。那個R2可以是數(shù)字版本,也可以是實體版本。所有人都能擁有,無論你是科學(xué)家、工程師、哲學(xué)家,還是普通人,我們都會有這些令人驚嘆的助手,幫助我們度過生活。
(對于老黃關(guān)于機(jī)器人的這個觀點,馬斯克也跑到評論區(qū)發(fā)表贊同。)

黃仁勛:最近,Sam提出了一個觀點,這些AI的推理能力將變得更加聰明,但這需要更多的計算能力。目前,在ChatGPT中的每個提示都是一個路徑,未來將在內(nèi)部有數(shù)百個路徑。它將進(jìn)行推理,進(jìn)行強(qiáng)化學(xué)習(xí),試圖為你創(chuàng)造更好的答案。
這就是為什么在我們的Blackwell架構(gòu)將推理性能提高了50倍。通過將推理性能提高50倍,那個現(xiàn)在可能需要幾分鐘來回答特定提示的推理模型,可以在幾秒鐘內(nèi)回應(yīng)。因此,這將是一個全新的世界,我對此感到興奮。
主持人:你怎么看待能耗方面的變化?這是AI最受關(guān)注的方面之一,即碳足跡。
黃仁勛:我們必須使用AI來減少能源消耗。我們現(xiàn)在知道,我們可以比使用傳統(tǒng)超級計算機(jī)進(jìn)行氣候和天氣預(yù)測的能源效率高一萬倍。摩爾定律確實已經(jīng)走到了盡頭,我們必須使用一種新方法來解決這些計算。
我舉的一個例子是,我的養(yǎng)的小狗不懂牛頓物理學(xué),他們不理解球會以什么軌跡運動。我們知道,世界上第一臺超級計算機(jī)是為了模擬導(dǎo)彈的軌跡而創(chuàng)建的。然而,狗經(jīng)過一些練習(xí),可以輕松地從空中抓住球,有時還在空翻中。那么它們是如何做到的呢?這是同樣的思路。
因此,我們將教AI不通過物理學(xué)、動力學(xué)、流體動力學(xué)等方式來計算天氣,而是教它去預(yù)測。它可能并不完全理解因果關(guān)系,但它的預(yù)測非常出色。我們只想知道明天的天氣會怎樣。這是一個例子。我們想對無線電網(wǎng)絡(luò)做同樣的事情。我們理解電磁學(xué)的基本物理,理解無線電波束如何反射、折射,如何處理不同的環(huán)境,理解波束成形的物理原理。
然而,當(dāng)你運營網(wǎng)絡(luò)時,你只是試圖以更低的能耗、更高的吞吐量、更低的成本提供更好的服務(wù)質(zhì)量。因此,你不需要實時進(jìn)行基礎(chǔ)物理模擬,只需使用AI來完成。這種通過理解第一性原理進(jìn)行模擬,然后使用 AI 來模擬這種基礎(chǔ)理解的原則,可以極大地減少能源消耗。
人們需要意識到,訓(xùn)練模型確實需要大量能源。然而,目標(biāo)不是訓(xùn)練模型,目標(biāo)是使用模型,這將節(jié)省大量能源。
One More Thing
在同期Salesforce舉辦的另一場活動上,黃仁勛還分享了這樣的觀點:
科技走入正反饋循環(huán),AI正在設(shè)計下一代AI,進(jìn)展速度達(dá)到了摩爾定律的平方。
這意味著在接下來的一到兩年內(nèi),我們將會看到驚人的、意想不到的進(jìn)步。

視頻回放:https://www.youtube.com/watch?v=r-xmUM5y0LQ&t=5145s
https://www.youtube.com/watch?v=kfe3ajUYSdc































