Agent能力每7個月翻一番！

根據(jù)非營利研究機構METR最新發(fā)布的報告，這一規(guī)律已在9項基準測試中得到了驗證。

這些任務涉及編程、數(shù)學、計算機使用、自動駕駛等領域，表明大模型正在不斷向著高度自動化邁進。

報告指出：在軟件開發(fā)、數(shù)學競賽、科學問答等任務中，agent已能完成相當于人類花費50–200分鐘才能完成的任務，并且這種能力還在快速提升——大約每2–6個月就能翻一番。

在計算機操作任務中，雖然任務時長較短，但增長率與軟件開發(fā)等任務一致。

Agent在自動駕駛?cè)蝿盏男阅茉鲩L速度則較慢，約20個月翻一番。

在視頻理解任務中，模型能夠在時長1小時的視頻上取得50%的成功率。

作為一家致力于研究前沿人工智能系統(tǒng)能力及其風險的研究團隊，METR此次的報告又進一步拉近了AI自主化的時間線，快來和我們看看報告有哪些內(nèi)容吧。

Agent的摩爾定律

在此前的測試中，METR將評估范圍聚焦于軟件開發(fā)和研究類任務，并發(fā)現(xiàn)AI agent的能力呈現(xiàn)出一種“摩爾定律”式的增長趨勢——平均每七個月，其可完成任務的time horizon就會翻一番。

而在最新報告中，METR將這一評估方法拓展至更廣泛的領域，并繼續(xù)追問一個關鍵問題：AI的能力，是否能在更廣泛的任務中，以time horizon翻倍的方式不斷躍升？

不過我們首先要問的是，什么是time horizon？

舉例來說，人類平均花30分鐘完成一個任務，AI如果能在這類任務上有一半成功的概率，那就說它的time horizon是30分鐘。如果它成功率還遠高于一半，例如達到80%，那說明它其實能勝任更長、更復雜的任務。

概括地說，time horizon就是agent在任務上可穩(wěn)定完成的時間跨度。

由于time horizon越長≈任務越難≈需要更多策略推理與計劃能力≈智能體的智能水平越高，所以time horizon的翻倍也被稱為agent的摩爾定律。

由于AI在不同任務中的能力差別極大，所以現(xiàn)在的問題是：這個指數(shù)級增長規(guī)律，會在其他領域也成立嗎？

如何跨領域衡量time horizon？

為了證明上面的問題，報告選取了9個benchmark，包括軟件開發(fā)（METR?HRS、SWE?bench）、計算機使用（OSWorld、WebArena）、數(shù)學競賽（Mock?AIME、MATH）、編程競賽（LiveCode-Bench)、科學問答（GPQADiamond）、視頻理解（Video?MME）、自動駕駛（Tesla?FSD）和機器人仿真（RLBench）。

對每個benchmark，METR構造了概率模型來估算agent的time horizon。報告采用最大似然估計（MLE）或簡化估計方法，處理不同benchmark的標簽粒度以估算出每個領域AI隨時間的time horizon增長曲線。

值得注意的是，不同基準測試的time horizon邊界相差超過100倍。許多推理和編碼基準測試的集群時間都在1小時或以上，但在計算機的使用時間（OSWorld、WebArena）僅為約2分鐘，而這可能源于agent在使用鼠標時發(fā)生的誤觸。

研究發(fā)現(xiàn)：智能體能力按月翻番

除了我們開頭提到的智能體的能力變化，報告還測試了當前主流的幾家大模型的能力。例如，像o3這樣的前沿模型在METR任務上的表現(xiàn)一直高于趨勢水平，翻倍時間快于7個月，在9個基準測試的翻倍時間中位數(shù)約為4個月（范圍為2.5至17個月）。

最后，time horizon并非對于所有的基礎測試中都重要。由于有些基準中難題的難度要遠大于簡單題，而在另一些基準中，難題卻和簡單題相差無幾。因此，對于agent來說，在這些基準測試中time horizon并不能完全反映其性能。

例如，LeetCode（LiveCodeBench）和數(shù)學問題（AIME）的難度要遠高于簡單問題，但長視頻上的Video-MME問題并不比短視頻上的難多少。

可見，agent的性能并不只是看“會更多技巧”，而是看是否能處理更長、更復雜任務。

從幾秒、幾分鐘，到幾十分鐘、幾小時，agent的可處理范圍正在跨越級別提升；如果翻倍趨勢持續(xù)，未來幾年內(nèi)可能看到AI完成“幾天→幾周”的任務成為可能。

總結這一研究可以看到一個很清楚的規(guī)律：從代碼推理到數(shù)學競賽，從GUI控制到自動駕駛，沒有一個任務域顯示出智能增長的“乏力”。在多數(shù)場景中，AI正全速向更大跨度、更深記憶、更復雜規(guī)劃演進。