如何用AI賺錢，可能是這個時代最常見的問題。

有些人選擇用大模型寫小說、寫報告、寫文案等等，但這些場景只是讓模型在執(zhí)行一些「短期且孤立」的任務。

如果能找到合適的應用場景，比如「用自動駕駛跑網(wǎng)約車」，并且模型還能夠在長時間內(nèi)保持連貫的輸出，再那豈不是就能躺賺了？

最近，有研究人員提出了一個自動售貨機運營模擬環(huán)境Vending-Bench，專門用來測試基于大模型的智能體管理一個簡單、長期運行業(yè)務場景的能力。

智能體必須平衡庫存、下訂單、設定價格以及處理日常費用，這些任務單個執(zhí)行都非常簡單，但綜合起來，在長時間運行（每次運行超過兩千萬個token）的情況下，對大模型持續(xù)、連貫決策的能力來說是個很大的挑戰(zhàn)。

論文鏈接：https://arxiv.org/pdf/2502.15840

實驗結果也顯示了不同大模型之間的性能方差很大：Claude 3.5 Sonnet和o3-mini在大多數(shù)運行中能很好地管理機器并盈利，但所有模型都出現(xiàn)過運營失誤：

要么是由于誤解配送時間表、忘記訂單，要么是陷入細枝末節(jié)的「崩潰」循環(huán)，并且很少有模型能解決這些問題，也無法恢復運營。

而且，運營失敗與模型上下文窗口溢出時間沒有明顯的相關性，表明運營失敗并非源于內(nèi)存限制。

Vending-Bench設計理念

智能體（agent）可以讓生成式AI自主地采取行動來完成指定任務，最簡單的實現(xiàn)方式是「循環(huán)」，根據(jù)之前的迭代結果和任務目標反復調(diào)用工具。

Vending-Bench框架下設計的智能體具有以下特點：

上下文管理：在每次迭代中，智能體都會將歷史記錄中的最后N個（實驗設置為30,000個）token作為輸入傳遞給生成式人工智能進行推理。

記憶工具：智能體可以對三種數(shù)據(jù)庫（草稿區(qū)、鍵值存儲和向量）進行讀取、寫入和刪除，以彌補其記憶能力的限制。其中，向量數(shù)據(jù)庫基于OpenAI的「text-embedding-3-small」模型計算文本和嵌入向量，并使用余弦相似度進行搜索。

任務相關工具：與自動售貨機業(yè)務的運營相關。

一些可以通過遠程操作完成的任務可以直接調(diào)用相關工具，比如閱讀和撰寫電子郵件、使用搜索引擎查找產(chǎn)品信息、查看當前的庫存情況以及檢查資金余額等。

對于需要在現(xiàn)實世界中進行物理操作的部分操作，研究人員實現(xiàn)了一個子智能體，模擬了與現(xiàn)實世界中人類的互動，可以完成從倉庫向自動售貨機補充商品、收取現(xiàn)金、設置價格以及獲取自動售貨機的庫存信息。

在技術實現(xiàn)上，研究人員開發(fā)了inspect-ai框架的一個擴展模塊，可以讓主智能體將任務委托給子智能體，具體工具包括：

sub_agent_specs：返回子智能體的相關信息，包括可用工具的列表。

run_sub_agent：以字符串形式向子智能體發(fā)出指令并執(zhí)行。

chat_with_sub_agent：向子智能體提問，了解運行過程中完成了什么操作。

系統(tǒng)中也有時間概念，智能體每次采取行動都會推動時間線，也可以選擇使用「wait_for_next_day」工具加速時間流逝。

每天早上，智能體會收到通知，告知購買到哪些商品，以及是否收到了新的電子郵件。

為了成功完成售貨機運營任務，智能體需要做到：

• 發(fā)送電子郵件從供應商處購買商品
• 將商品補充到自動售貨機中
• 設置的價格必須在市場上有競爭力
• 定期收取收入
• 控制日常運營成本

任務環(huán)境還要求智能體模擬人類行為，包括與批發(fā)供應商的溝通，以及顧客購買等。

供應商交流

在尋找供應商前，智能體需要使用搜索引擎查找流行的自動售貨機商品，然后尋找地址附近的批發(fā)商聯(lián)系方式并發(fā)送電子郵件，詢問商品信息。

當新的一天開始時，批發(fā)商會回復一封由AI生成的電子郵件，回復內(nèi)容取決于真實數(shù)據(jù)和請求內(nèi)容。

決定購買商品后，智能體必須在電子郵件中明確指定要購買的商品名稱和數(shù)量、送貨地址以及批發(fā)商可以扣款的賬戶號碼。

商品發(fā)貨后，幾天就會到達庫存，并收到一封電子郵件通知。

根據(jù)預定價格，經(jīng)濟系統(tǒng)會彈性模擬每天顧客的購買行為，如果商品價格定得過高，銷量就會下降。

環(huán)境配置

智能體一開始有500美元的初始資金，并且每天需要支付2美元的費用來運營自動售貨機。

自動售貨機有四排，每排有三個格子，其中兩排用于放置小件商品，另外兩排用于放置大件商品，商品尺寸由GPT-4o在訂購產(chǎn)品時確定。

智能體使用一個工具時，環(huán)境中的時間會向前推進5分鐘、25分鐘、75分鐘或5小時，取決于所使用的工具；記憶容量為3萬個token

智能體每天運行2000條消息，如果模型連續(xù)10天無法支付每日費用而破產(chǎn)，運營就會提前結束。

評分方法

智能體的主要評分標準是游戲結束時的凈資產(chǎn)，即手頭現(xiàn)金、自動售貨機中尚未取出的現(xiàn)金、已購買但尚未售出的商品的價值。

除了凈資產(chǎn)之外，研究人員還會跟蹤智能體的資金余額、售出的商品數(shù)量以及對工具的使用情況。

實驗結果

為了將不同模型的結果與人類表現(xiàn)進行對比，研究人員搭建了一個基于聊天的界面，然后安排了一位人類參與者用五個小時來完成運營任務，參與者在開始之前對任務沒有任何預先了解，僅通過任務提示和與環(huán)境的互動來理解任務的運作方式。

每個模型運行五次后，從結果中可以看出，Claude 3.5 Sonnet的凈資產(chǎn)表現(xiàn)最為出色，遙遙領先，而o3-mini則位居第二

在可靠性上，只對模型最差的一次運行進行評估后，發(fā)現(xiàn)人類基線表現(xiàn)最好，其次是Claude 3.5 Sonnet和Gemini 1.5 Pro

按照售出商品數(shù)量進行的排名通常與凈資產(chǎn)排名一致，但即使是排名靠前的模型，有時也會出現(xiàn)一件商品都賣不出去的情況，凸顯了模型在長周期內(nèi)的表現(xiàn)波動很大。

研究人員還測量了模型在停滯之前能夠運行的天數(shù)，即停止銷售商品的時間。

Claude 3.5 Sonnet在這個指標上排名最高，可以看到如果自動售貨機始終保持有貨，那么運行時間越長，銷售的機會就越多，不過所有模型最終都會停止。

為了更詳細地分析模型在模擬天數(shù)上的表現(xiàn)，研究人員主要分析了GPT-4o、Claude 3.5 Sonnet、o3-mini 和 Gemini 1.5 Pro的表現(xiàn)。

當把評估限制在2000條消息，可以發(fā)現(xiàn)o3-mini在模擬中持續(xù)時間最長，達到了222天。

從圖中陰影部分的不確定性區(qū)域（±1個標準差）可以看出，模型在五次運行中都表現(xiàn)出非常高的波動性。

對于所有模型，可以觀察到，隨著時間推移，在大約120天后，每日工具的使用頻率都在下降，其中o3-mini、Gemini 1.5 Pro和GPT-4o的下降最為明顯。

工具使用頻率降低通常意味著經(jīng)濟活動的減少，在凈資產(chǎn)圖表中表現(xiàn)得尤為明顯：o3-mini在初期表現(xiàn)良好，但隨后其凈資產(chǎn)開始停滯甚至下降（沒有銷售且每天仍有費用），與其工具使用頻率的下降模式相似。

相比之下，Gemini 1.5 Pro和GPT-4o在凈資產(chǎn)表現(xiàn)上最差，使用電子郵件功能的頻率也最低。