Open AI 的推理模型 o1，這么快就被比下去了？

本周五，AI 社區(qū)見(jiàn)證了又一項(xiàng)突破：一個(gè)完全自動(dòng)化機(jī)器學(xué)習(xí)流程的 AI 工程師，能輕松獲得 Kaggle 大師水平，在參與的 50 個(gè) Kaggle 競(jìng)賽上獲得了其中 26% 的獎(jiǎng)牌，成績(jī)遠(yuǎn)遠(yuǎn)優(yōu)于之前 Open AI 的強(qiáng)化學(xué)習(xí)加強(qiáng)版的 o1 模型。

創(chuàng)造這項(xiàng)紀(jì)錄的 AI，來(lái)自一家名為 NEO 的創(chuàng)業(yè)公司。

據(jù)該公司介紹，NEO 可以自動(dòng)化整個(gè)機(jī)器學(xué)習(xí)的工作流程，為開(kāi)發(fā)人員節(jié)省數(shù)千小時(shí)的繁重工作。它是一個(gè)多智能體（AI Agent）系統(tǒng)，可用并行的方式解決單一問(wèn)題。

目前這一 AI 系統(tǒng)還在內(nèi)測(cè)申請(qǐng)階段，除了視頻 Demo 內(nèi)容，我們還能找到官方的簡(jiǎn)單介紹：

機(jī)器學(xué)習(xí)中的挑戰(zhàn)

首先是 NEO 希望解決的問(wèn)題。

機(jī)器學(xué)習(xí)的「從數(shù)據(jù)中學(xué)習(xí)」這一看似簡(jiǎn)單的前提掩蓋了開(kāi)發(fā)人員每天面臨挑戰(zhàn)的復(fù)雜性。雖然傳統(tǒng)編程遵循明確的規(guī)則和邏輯路徑，但機(jī)器學(xué)習(xí)引入了一系列新的不確定性，即使是經(jīng)驗(yàn)豐富的開(kāi)發(fā)人員也難以應(yīng)對(duì)。從本質(zhì)上講，機(jī)器學(xué)習(xí)不僅需要代碼開(kāi)發(fā)的專(zhuān)業(yè)知識(shí)，還需要對(duì)統(tǒng)計(jì)學(xué)、線性代數(shù)和微積分有深入的理解，這是許多軟件工程師自大學(xué)畢業(yè)后就不再遇到的數(shù)學(xué)問(wèn)題。

開(kāi)發(fā)人員面臨的第一個(gè)障礙是數(shù)據(jù)質(zhì)量和準(zhǔn)備。原始數(shù)據(jù)很少以干凈、直接可用的格式出現(xiàn)。相反，開(kāi)發(fā)人員必須花費(fèi)大量時(shí)間處理缺失值、異常值和不一致的格式，同時(shí)做出有關(guān)數(shù)據(jù)清理的關(guān)鍵決策，這可能會(huì)顯著影響模型性能。

模型的選擇帶來(lái)了另一層復(fù)雜性。在解決某個(gè)問(wèn)題時(shí)通常會(huì)有幾十種算法可用，每種算法都有自己的優(yōu)勢(shì)和局限性，選擇正確的方法成為一個(gè)關(guān)鍵的決策點(diǎn)。僅神經(jīng)網(wǎng)絡(luò)就提供了無(wú)數(shù)的架構(gòu)可能性，從簡(jiǎn)單的前饋網(wǎng)絡(luò)到 Transformer，每個(gè)模型都需要仔細(xì)調(diào)整超參數(shù)。

計(jì)算資源增加了另一個(gè)復(fù)雜性維度。雖然小型模型可以在筆記本電腦上運(yùn)行，但很多機(jī)器學(xué)習(xí)開(kāi)發(fā)通常需要云基礎(chǔ)設(shè)施、分布式計(jì)算和 GPU 優(yōu)化。開(kāi)發(fā)人員必須熟練掌握 Docker、Kubernetes 和各種云平臺(tái)等工具。

部署本身也帶來(lái)了一系列挑戰(zhàn)。在開(kāi)發(fā)過(guò)程中表現(xiàn)優(yōu)秀的模型可能會(huì)隨著數(shù)據(jù)漂移而退化，需要持續(xù)監(jiān)控和重新訓(xùn)練 pipeline。開(kāi)發(fā)人員不僅必須跟蹤代碼更改，還必須跟蹤數(shù)據(jù)版本、模型參數(shù)和訓(xùn)練配置。

這可能意味著開(kāi)發(fā)人員要在每個(gè)步驟中投入數(shù)周或數(shù)月的工時(shí)，才能構(gòu)建一個(gè)能夠有效解決問(wèn)題的 AI 模型。

NEO—— 完全自主的機(jī)器學(xué)習(xí)工程師

NEO 的出現(xiàn)大幅簡(jiǎn)化了這整套機(jī)器學(xué)習(xí)工作流程，使工程師能夠以 10 倍的速度構(gòu)建和部署 pipeline。它的開(kāi)發(fā)充分考慮了機(jī)器學(xué)習(xí)專(zhuān)業(yè)人士的需求，并被設(shè)計(jì)為像實(shí)習(xí)生一樣，能夠從人類(lèi)的反饋中進(jìn)行學(xué)習(xí)。

它是如何運(yùn)作的？NEO 是由多個(gè)智能體驅(qū)動(dòng)多個(gè)專(zhuān)門(mén)模型實(shí)現(xiàn)的，每個(gè)微調(diào)模型專(zhuān)門(mén)用于機(jī)器學(xué)習(xí)生命周期的不同部分。

面對(duì)具體目標(biāo)，NEO 會(huì)啟動(dòng)一套完整的工作流以達(dá)成目標(biāo)。NEO 通過(guò)結(jié)構(gòu)化的多步驟方法，將復(fù)雜問(wèn)題拆解為易于管理的組件，化繁為簡(jiǎn)，從而實(shí)現(xiàn)目標(biāo)。

這一方法包括計(jì)劃、編碼、執(zhí)行和調(diào)試的持續(xù)循環(huán)，確保在每個(gè)階段都進(jìn)行充分優(yōu)化。在這個(gè)過(guò)程中，NEO 會(huì)根據(jù)進(jìn)展不斷調(diào)整和迭代，直到獲得最佳結(jié)果。一旦開(kāi)發(fā)者批準(zhǔn) NEO 的輸出，整個(gè)工作流程即可在幾秒鐘內(nèi)部署。NEO 為機(jī)器學(xué)習(xí)工程師簡(jiǎn)化了上述所有復(fù)雜環(huán)節(jié)。

它的目標(biāo)不是取代數(shù)據(jù)科學(xué)家或工程師，而是與人類(lèi)合作并處理所有繁重任務(wù)。在人與 AI 合作的工作環(huán)境中，人們僅用幾個(gè)小時(shí)就能完成一周的工作。

聽(tīng)起來(lái)有點(diǎn)像今年 3 月在 AI 社區(qū)爆火的首個(gè) AI 軟件工程師 Devin，不過(guò)多智能體的方法青出于藍(lán)。

NEO 展示了一系列實(shí)際工作的 demo，當(dāng)要求 NEO 構(gòu)建一個(gè)信用卡欺詐檢測(cè)系統(tǒng)時(shí)，它給出了流暢的任務(wù)解決方案：

當(dāng)要求 NEO 使用協(xié)同過(guò)濾方法構(gòu)建一本書(shū)籍推薦模型時(shí)，它自動(dòng)完成了數(shù)據(jù)集的準(zhǔn)備工作，還進(jìn)行了探索性分析，并對(duì)數(shù)據(jù)預(yù)處理進(jìn)行了結(jié)構(gòu)性?xún)?yōu)化，使數(shù)據(jù)集能夠更好地用于訓(xùn)練：

那么它的跑分如何呢？研究團(tuán)隊(duì)在 MLE 基準(zhǔn)測(cè)試（MLE-bench）上對(duì) NEO 進(jìn)行了全面評(píng)估。MLE-bench 是一種創(chuàng)新的基準(zhǔn)測(cè)試，專(zhuān)注于將 AI 智能體應(yīng)用于真實(shí)世界的機(jī)器學(xué)習(xí)工程任務(wù)。與其他人工設(shè)計(jì)的挑戰(zhàn)不同，這個(gè)基準(zhǔn)測(cè)試通過(guò) 75 場(chǎng)實(shí)際的 Kaggle 競(jìng)賽來(lái)評(píng)估 AI 智能體在機(jī)器學(xué)習(xí)工程中的表現(xiàn)，具有極高的實(shí)用性。

在 50 場(chǎng) Kaggle 競(jìng)賽測(cè)試中，NEO 表現(xiàn)堪稱(chēng)卓越：在 26% 的競(jìng)賽中獲得獎(jiǎng)牌，超越了 OpenAI 最新推理加強(qiáng)模型 o1 的基準(zhǔn)成績(jī)。為了更直觀地理解這一成就，看看 NEO 到底是什么水準(zhǔn)，Kaggle 金牌的獲得要求就很直白：參賽團(tuán)隊(duì)需要進(jìn)入所有團(tuán)隊(duì)排名前 10%。這通常需要極高的專(zhuān)業(yè)技能、創(chuàng)新方法以及精細(xì)優(yōu)化。

這回落在 NEO 后面的，是搭配 AIDE 框架的 o1-preview 了。

NEO 在 50 場(chǎng) Kaggle 比賽中進(jìn)行了測(cè)試，并在其中 26% 的比賽中獲得了獎(jiǎng)牌，這一表現(xiàn)遠(yuǎn)遠(yuǎn)優(yōu)于此前的搭配 AIDE 框架 Open AI 的 o1 在 MLE 基準(zhǔn)測(cè)試中的 16.9% 的表現(xiàn)。

NEO 的表現(xiàn)不僅僅是數(shù)據(jù)，它代表了 AI 輔助機(jī)器學(xué)習(xí)工程的一個(gè)突破。憑借如此表現(xiàn)，NEO 已達(dá)到堪比 Kaggle 競(jìng)賽特級(jí)大師的水平，為用戶(hù)帶來(lái)了世界級(jí)的機(jī)器學(xué)習(xí)專(zhuān)業(yè)能力。

官方稱(chēng)，NEO 不僅僅是一款 AI 工具，而是一個(gè)像數(shù)據(jù)競(jìng)賽冠軍一樣的人類(lèi)合作伙伴，隨時(shí)準(zhǔn)備解決復(fù)雜的數(shù)據(jù)挑戰(zhàn)，以經(jīng)過(guò)驗(yàn)證的競(jìng)賽獲勝能力助你一臂之力。

NEO 的發(fā)布在 AI 社區(qū)引發(fā)了不小的關(guān)注，人們非常期待這款新工具能夠幫助我們解決繁重的工作，不過(guò)也有人認(rèn)為，目前的展示還只是一面之詞，具體情況還得看網(wǎng)友實(shí)測(cè)。

多智能體的 AI 真的有如此高的潛力嗎？讓我們拭目以待。