OpenAI宮斗大戲剛剛落幕，馬上又掀起另一場軒然大波！

路透社曝光，在奧特曼被解雇之前，幾位研究人員給董事會寫的警告信可能是整個事件導(dǎo)火索：

內(nèi)部名為Q （發(fā)音為Q-Star）*的下一代AI模型，過于強大和先進(jìn)，可能會威脅人類。

Q*正是由這場風(fēng)暴的中心人物，首席科學(xué)家Ilya Sutskever主導(dǎo)。

人們迅速把奧特曼此前在APEC峰會上的發(fā)言聯(lián)系在了一起：

OpenAI歷史上已經(jīng)有過四次，最近一次就是在過去幾周，當(dāng)我們推開無知之幕并抵達(dá)探索發(fā)現(xiàn)的前沿時，我就在房間里，這是職業(yè)生涯中的最高榮譽?！?/p>

圖片

Q*可能有以下幾個核心特性，被認(rèn)為是通往AGI或超級智能的關(guān)鍵一步。

• 突破了人類數(shù)據(jù)的限制，可以自己生產(chǎn)巨量訓(xùn)練數(shù)據(jù)
• 有自主學(xué)習(xí)和自我改進(jìn)的能力

這則消息迅速引發(fā)了巨大討論，馬斯克也帶著鏈接來追問。

圖片

最新的梗圖則是，好像一夜之間，人們都從研究奧特曼和OpenAI董事會的專家，變成了Q*專家。

突破數(shù)據(jù)限制

根據(jù)來自The Information的最新消息，Q*的前身是GPT-Zero，這個項目由Ilya Sutskever發(fā)起，名字致敬了DeepMind的Alpha-Zero。

Alpha-Zero無需學(xué)習(xí)人類棋譜，通過自己跟自己博弈來掌握下圍棋。

GPT-Zero讓下一代AI模型不用依賴互聯(lián)網(wǎng)上抓取的文本或圖片等真實世界數(shù)據(jù)，而是使用合成數(shù)據(jù)訓(xùn)練。

2021年，GPT-Zero正式立項，此后并未有太多直接相關(guān)的消息傳出。

但就在幾周前，Ilya在一次訪談中提到：

不談太多細(xì)節(jié)，我只想說數(shù)據(jù)限制是可以被克服的，進(jìn)步仍將繼續(xù)。

圖片

在GPT-Zero的基礎(chǔ)上，由Jakub Pachocki和Szymon Sidor開發(fā)出了Q*。

兩人都是OpenAI早期成員，也都是第一批宣布要跟著奧特曼去微軟的成員。

圖片

Jakub Pachocki上個月剛剛晉升研究總監(jiān)，過去很多突破包括Dota 2項目和GPT-4的預(yù)訓(xùn)練，他都是核心貢獻(xiàn)者。

圖片

Szymon Sidor同樣參與過Dota 2項目，個人簡介是“正在造AGI，一行代碼接一行代碼”。

圖片

在路透社的消息中，提到給Q*提供龐大的計算資源，能夠解決某些數(shù)學(xué)問題。雖然目前數(shù)學(xué)能力僅達(dá)到小學(xué)水平，但讓研究者對未來的成功非常樂觀。

另外還提到了OpenAI成立了“AI科學(xué)家”新團(tuán)隊，由早期的“Code Gen”和“Math Gen”兩個團(tuán)隊合并而來，正在探索優(yōu)化提高AI的推理能力，并最終開展科學(xué)探索。

三種猜測

關(guān)于Q*到底是什么沒有更具體的消息傳出，但一些人從名字猜測可能與Q-Learning有關(guān)。

Q-Learning可以追溯到1989年，是一種無模型強化學(xué)習(xí)算法，不需要對環(huán)境建模，即使對帶有隨機(jī)因素的轉(zhuǎn)移函數(shù)或者獎勵函數(shù)也無需特別改動就可以適應(yīng)。

與其他強化學(xué)習(xí)算法相比，Q-Learning專注于學(xué)習(xí)每個狀態(tài)-行動對的價值，以決定哪個動作在長期會帶來最大的回報，而不是直接學(xué)習(xí)行動策略本身。

第二種猜測是與OpenAI在5月發(fā)布的通過“過程監(jiān)督”而不是“結(jié)果監(jiān)督”解決數(shù)學(xué)問題有關(guān)。

圖片

但這一研究成果的貢獻(xiàn)列表中并未出現(xiàn)Jakub Pachocki和Szymon Sidor的名字。

圖片

另外有人猜測，7月份加入OpenAI的“德?lián)銩I之父”Noam Brown也可能與這個項目有關(guān)。

圖片

他在加入時曾表示要把過去只適用于游戲的方法通用化，推理可能會慢1000被成本也更高，但可能發(fā)現(xiàn)新藥物或證明數(shù)學(xué)猜想。

符合傳言中“需要巨大計算資源”和“能解決一定數(shù)學(xué)問題”的描述。

圖片

雖然更多的都還是猜測，但合成數(shù)據(jù)和強化學(xué)習(xí)是否能把AI帶到下一個階段，已經(jīng)成了業(yè)內(nèi)討論最多的話題之一。

英偉達(dá)科學(xué)家范麟熙認(rèn)為，合成數(shù)據(jù)將提供上萬億高質(zhì)量的訓(xùn)練token，關(guān)鍵問題是如何保持質(zhì)量并避免過早陷入瓶頸。

圖片

馬斯克同意這個看法，并提到人類所寫的每一本書只需一個硬盤就能裝下，合成數(shù)據(jù)將遠(yuǎn)遠(yuǎn)超出這個規(guī)模。

圖片

但圖靈獎三巨頭中的LeCun認(rèn)為，更多合成數(shù)據(jù)只是權(quán)宜之計，最終還是需要讓AI像人類或動物一樣只需極少數(shù)據(jù)就能學(xué)習(xí)。

圖片

萊斯大學(xué)博士Cameron R. Wolfe表示，Q-Learning可能并不是解鎖AGI的秘訣。

但將“合成數(shù)據(jù)”與“數(shù)據(jù)高效的強化學(xué)習(xí)算法”相結(jié)合，可能正是推進(jìn)當(dāng)前人工智能研究范式的關(guān)鍵。

他表示，通過強化學(xué)習(xí)微調(diào)是訓(xùn)練高性能大模型（如ChatGPT/GPT-4）的秘訣。但強化學(xué)習(xí)本質(zhì)上數(shù)據(jù)低效，使用人工手動標(biāo)注數(shù)據(jù)集進(jìn)行強化學(xué)習(xí)微調(diào)非常昂貴。考慮到這一點，推進(jìn)AI研究（至少在當(dāng)前范式中）將嚴(yán)重依賴于兩個基本目標(biāo)：

• 讓強化學(xué)習(xí)在更少數(shù)據(jù)下表現(xiàn)更好。
• 盡可能使用大模型和少量人工標(biāo)注數(shù)據(jù)合成生成高質(zhì)量數(shù)據(jù)。

……如果我們堅持使用Decoder-only Transformer的預(yù)測下一個token范式（即預(yù)訓(xùn)練 -> SFT -> RLHF）……這兩種方法結(jié)合將使每個人都可以使用尖端的訓(xùn)練技術(shù)，而不僅僅是擁有大量資金的研究團(tuán)隊！

圖片

One More Thing

OpenAI內(nèi)部目前還沒有人對Q*的消息發(fā)表回應(yīng)。

但奧特曼剛剛透露與留在董事會的Quora創(chuàng)始人Adam D’Angelo進(jìn)行了幾個小時的友好談話。

圖片

看來無論Adam D’Angelo是否像大家猜測的那樣是這次事件的幕后黑手，現(xiàn)在都達(dá)成和解了。

參考鏈接：
[1]https://www.theinformation.com/articles/openai-made-an-ai-breakthrough-before-altman-firing-stoking-excitement-and-concern
[2]https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/
[3]https://www.youtube.com/watch?v=ZFFvqRemDv8
[4]https://www.youtube.com/watch?v=Ft0gTO2K85A
[5]https://x.com/cwolferesearch/status/1727727148859797600
[6]https://twitter.com/DrJimFan/status/1727505774514180188