OpenAI前研究員大佬、如今的Thinking Machines Lab聯(lián)創(chuàng)Lilian Weng，剛剛轉(zhuǎn)發(fā)了一個神秘產(chǎn)品——一個看似儀表盤的東西。

或許，這就將是公司即將打造的第一個爆品？

這個產(chǎn)品所揭示的理念，可謂十分驚人——

在訓(xùn)練過程中，研究人員可以直接用它來手動調(diào)整所有的超參數(shù)了！

Lilian Weng宣稱：總有一天我們會涉足硬件領(lǐng)域，而現(xiàn)在就是時候了。

所以，這個最高估值90億美元神秘新公司的首個產(chǎn)品，或許就是這個硬件？

前CTO組建的神秘公司，

憋的大招是這個？

其實，分享出這個視頻的，是前谷歌DeepMind員工Stephen Roller，后來，他又跳到了Character AI，現(xiàn)在來到了Thinking Machines Lab。

他表示，一些團(tuán)隊需要通過參數(shù)遍歷、啟發(fā)式方法或者Scaling Law來確定訓(xùn)練的學(xué)習(xí)率。

但是在Character，他們只需要讓Noam Shazeer來手動調(diào)到正確的值。

這位Noam Shazeer，就是出走谷歌后創(chuàng)辦Character，又讓谷歌豪擲27億刀買下整個初創(chuàng)、只為換得他重回谷歌工作的那位大神。

這個idea，著實讓開發(fā)者們興奮了。

看起來，這似乎比大多數(shù)調(diào)度方法都要好。

有人問道，為什么在這個過程中，還需要繪制學(xué)習(xí)率的平均值呢？

Stephen Roller回答說：「并不一定。對于所有指標(biāo)，我們都會跟蹤平均值和分母。對于學(xué)習(xí)率（LR），分母始終為1。這只是我們模板的一個副作用?！?/span>

有人表示，這個方法看起來太贊了！不過，仍然會需要做很多超參數(shù)搜索。

而且，他還發(fā)現(xiàn)了一件事，就是很多人在訓(xùn)練出不錯的模型但達(dá)到瓶頸后，通常不會嘗試分支搜索，即不會把這個模型衍生出幾個不同學(xué)習(xí)率的訓(xùn)練路徑。

但其實，如果提前主動剪掉一些沒前途的分枝，其實是能節(jié)省不少算力的。

另外還有一名Character員工爆料說，其實在實踐中，你需要花費大量的計算資源和精力，才能超越Noam隨口提出的超參數(shù)。莫非，這是大神獨有的一種神秘手動天賦？

「或許未來，AI研究中心會類似于老式發(fā)電廠的控制室？」

還有人玩起了梗：以后訓(xùn)大模型會是這樣的，把實驗接到DJ混音器上，然后開始憑感覺微調(diào)超參數(shù)？

一篇論文未發(fā)，已經(jīng)估值90億

神秘的Thinking Machines Lab，由Murati牽頭，網(wǎng)羅了一堆OpenAI的天才核心員工。

雖然一篇論文未發(fā)，但公司的估值已經(jīng)達(dá)到了驚人的90億美元。

現(xiàn)在，公司旗下的大神包括但不限于——

Lilian Weng，OpenAI前研究副總裁（VP of  Research），主管模型安全。

OpenAI聯(lián)創(chuàng)John Schulman，主導(dǎo)了ChatGPT的研發(fā)工作；2022至2024年間，共同負(fù)責(zé)為ChatGPT和OpenAI API開發(fā)核心模型架構(gòu)。

ChatGPT共同創(chuàng)始人Barret Zoph，OpenAI前研究副總裁，主管后期訓(xùn)練方向。

GPT開山一作、「愛因斯坦級天才」Alec Radford，「史上最強本科學(xué)歷AI研究員」。

OpenAI首席研究官，塑造GPT-3、GPT-4、o1的關(guān)鍵人物Bob McGrew。

OpenAI前多模態(tài)團(tuán)隊負(fù)責(zé)人Alexander Kirillov。

現(xiàn)在，Thinking Machines的網(wǎng)站上列出了38名創(chuàng)始團(tuán)隊成員，其中有19人都是OpenAI的老員工，還有多位華人科學(xué)家。

在表面上，Thinking Machines這塊調(diào)參「DJ臺」看起來只是一個極客味十足的訓(xùn)練工具；但如果放到更宏大的產(chǎn)業(yè)棋局中，它的意義遠(yuǎn)不止于此——

它揭開了下一場AI大戰(zhàn)的序幕：一場關(guān)于「誰能占據(jù)AI硬件入口」的全新較量。

另一邊，OpenAI也早已悄悄布局。

就在不久前曝光的一份內(nèi)部文件中，它寫得清清楚楚——

ChatGPT的未來，不只是網(wǎng)頁和APP，而是一種「無處不在、永不離線」的全新硬件形態(tài)。

OpenAI：AI+硬件的野心被挖出

在2024年12月2日，OpenAI的一份內(nèi)部文件，提到「Ship a [REDACTED] by 2026」。

這些文件來自美國司法部訴谷歌壟斷案（U.S. v. Google (2024) (1:20-cv-03010)），基本上就是真材實料，因為涉及到具體的商業(yè)機密，所以關(guān)鍵部分做了處理。

OpenAI在文件中坦言：網(wǎng)站、手機、桌面應(yīng)用，仍無法讓ChatGPT「無處不在」。

他們設(shè)想的，是能融入家庭、街道、職場、獨處時刻的全能AI硬件。

被打碼的極有可能是一款硬件設(shè)備。

ChatGPT翻譯的OpenAI內(nèi)部文件大意：

在2026年前推出一款██████████

如今，ChatGPT已通過我們的網(wǎng)站、手機和桌面應(yīng)用的形式出現(xiàn)在生活中。但我們對ChatGPT的愿景，是讓它無論你身在何處，都能陪伴你的整個生活。

在家中，它應(yīng)該能幫你解答問題、播放音樂、推薦食譜；在路上，它應(yīng)該能幫你導(dǎo)航、尋找最棒的餐廳、聯(lián)絡(luò)朋友；在工作中，它應(yīng)該能幫你做會議記錄或準(zhǔn)備重要演講；而在獨自行走時，它應(yīng)該能陪你思考、放松心情。

我們希望ChatGPT成為█████████████████████████████████████████████。

最好的AI，是那個始終陪伴在你身邊的AI。

ChatGPT還給出了合理猜測：OpenAI要發(fā)布個人AI設(shè)備，他們希望ChatGPT成為實時響應(yīng)、無處不在、始終陪伴的AI助手。

它還給出了依據(jù)說明：

這都說得通：什么東西能「始終陪伴」？

因為手機已經(jīng)被排除，智能手表之類的硬件是個可能的選擇。

在曝料貼下，網(wǎng)友Gordon Sloane還上傳了帶有OpenAI商標(biāo)的設(shè)備。

最近，OpenAI還收購了知名硬件設(shè)計師Jony Ive的設(shè)計工作室LoveFrom，意在智能設(shè)備。

根據(jù)OpenAI發(fā)布的新聞，早在兩年前，Jony Ive的創(chuàng)意團(tuán)隊LoveFrom悄然開始與OpenAI團(tuán)隊展開合作。

為了探索更多AI工具與產(chǎn)品形態(tài)，一年前，Jony Ive聯(lián)合Scott Cannon、Evans Hankey與Tang Tan創(chuàng)立了io設(shè)計公司。

左：Jony Ive；中：Evans Hankey；右：Tang Tan

在本月，OpenAI宣布用64億美元收購io團(tuán)隊。

Jony Ive曾擔(dān)任蘋果公司的首席設(shè)計官（chief design officer），主管產(chǎn)品設(shè)計和人機界面設(shè)計。

OpenAI顯然在效仿Apple，試圖以Jony Ive的美學(xué)重塑AI硬件體驗，押注屬于AI時代的下一個「iPhone時刻」。

而那些被挖出的內(nèi)部文件，無疑也在佐證OpenAI謀劃多時，意在智能硬件的目標(biāo)絕非一時起意。