當(dāng)下，企業(yè)正處于部署AI的關(guān)鍵節(jié)點(diǎn)。

隨著AI系統(tǒng)在企業(yè)運(yùn)營中的深度融合，計(jì)算成本與響應(yīng)時(shí)間成為阻礙AI廣泛應(yīng)用的主要瓶頸。

來自Zoom的華人研究團(tuán)隊(duì)取得了一項(xiàng)突破性成果，他們開發(fā)的「草稿鏈」（Chain of Draft，CoD）技術(shù)，有望從根本上改變企業(yè)大規(guī)模部署AI的模式。

通過減少冗長表述并聚焦關(guān)鍵要點(diǎn)，草稿鏈（CoD）在準(zhǔn)確率上與思維鏈（CoT）相當(dāng)甚至更優(yōu)，使用的token量僅為7.6%，顯著降低了推理任務(wù)的成本和延遲。

目前，該項(xiàng)目已在GitHub上開源。

論文鏈接：https://arxiv.org/abs/2502.18600

項(xiàng)目鏈接：https://github.com/sileix/chain-of-draft

AI研究員Prabhakar表示，「對于一家每月處理100萬次推理查詢的企業(yè)而言，采用草稿鏈技術(shù)，每月成本可從（使用思維鏈時(shí)的）3800美元降至760美元，每月節(jié)省超過3000美元?！?/span>

草稿鏈對于企業(yè)的吸引力，更在于其簡便的實(shí)現(xiàn)方式。

與需要投入大量成本進(jìn)行模型重新訓(xùn)練或架構(gòu)調(diào)整的技術(shù)不同，已在使用CoT的企業(yè)，僅需對現(xiàn)有模型的提示進(jìn)行簡單修改，就能順利切換至CoD。

在實(shí)時(shí)客戶支持、移動(dòng)AI、教育以及金融服務(wù)等對延遲極為敏感的應(yīng)用場景中，CoD技術(shù)的價(jià)值尤為明顯。

在這些場景下，即使是極短暫的延遲，也可能對用戶體驗(yàn)造成嚴(yán)重影響。

Prabhakar總結(jié)道，「隨著AI模型的不斷演進(jìn)，優(yōu)化推理效率與提升原始能力同樣重要。」

OpenAI o1和DeepSeek R1等推理模型在復(fù)雜任務(wù)處理上取得了顯著進(jìn)展，思維鏈（CoT）技術(shù)功不可沒。

CoT模仿人類的結(jié)構(gòu)化推理，將問題分解為逐步探索的過程。

然而，CoT往往產(chǎn)生冗長的中間推理步驟，導(dǎo)致高延遲和更高的計(jì)算成本。

草稿鏈：靈感源于人類認(rèn)知

CoD的靈感來源于人類解決復(fù)雜問題的方式。

在解數(shù)學(xué)題或邏輯謎題時(shí)，人們通常不會詳細(xì)闡述每一個(gè)細(xì)節(jié)，而是用縮寫形式只記錄關(guān)鍵信息。

受此啟發(fā)，研究人員提出了草稿鏈（CoD）這一全新的提示策略。

CoD不要求模型生成冗長的中間步驟，而是讓LLM在每一步生成簡潔、信息密集的輸出。

這種方法限制每個(gè)推理步驟最多五個(gè)詞，使模型專注于最關(guān)鍵的信息。

研究團(tuán)隊(duì)在眾多基準(zhǔn)測試中驗(yàn)證了CoD的性能，包括算術(shù)推理（GSM8k）、常識推理（日期理解和體育知識理解）以及符號推理（拋硬幣任務(wù)）。

其中，Claude 3.5 Sonnet在處理體育相關(guān)問題時(shí)，CoD將平均輸出從189.4個(gè)token減少到僅14.3個(gè)token，降幅達(dá)92.4%！同時(shí)準(zhǔn)確率從93.2%提高到了97.3%。

CoD在顯著減少token的情況下，大幅降低了延遲和計(jì)算成本，實(shí)現(xiàn)了與CoT相當(dāng)?shù)臏?zhǔn)確率。

為了說明標(biāo)準(zhǔn)提示、CoT和CoD的區(qū)別，考慮以下簡單的算術(shù)問題：

「Jason有20個(gè)棒棒糖，他分給Denny一些，現(xiàn)在有12個(gè)棒棒糖，他給了Denny多少？」

標(biāo)準(zhǔn)提示方法生成的回答通常直接輸出答案，而沒有任何推理過程。雖然結(jié)果正確，卻缺乏推理過程的透明度。

CoT提供了詳細(xì)的推理步驟。雖然回答準(zhǔn)確且可解釋，但包含了許多與解決數(shù)學(xué)問題無關(guān)的描述性細(xì)節(jié)，增加了token數(shù)量和響應(yīng)延遲。

CoD僅聚焦于得出解決方案所必需的基本數(shù)學(xué)運(yùn)算，將無關(guān)的上下文細(xì)節(jié)統(tǒng)統(tǒng)去除。

這種方式在確保透明度和答案正確性的同時(shí)，顯著減少了所需的token數(shù)量，使得推理過程更加簡潔高效。

實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)中比較了三種不同的提示策略：標(biāo)準(zhǔn)提示、思維鏈（CoT）和草稿鏈（CoD）。

標(biāo)準(zhǔn)提示策略使用常規(guī)的少樣本提示，模型直接返回最終答案，沒有任何推理或解釋。

CoT策略遵循論文中提供的少樣本示例，讓模型逐步進(jìn)行詳細(xì)推理。

而CoD策略則要求模型在思考時(shí)逐步推理，但每個(gè)推理步驟限制在最多五個(gè)詞，從而實(shí)現(xiàn)簡潔高效的推理過程。

實(shí)驗(yàn)采用了兩個(gè)主流模型：OpenAI GPT-4o和Anthropic Claude 3.5 Sonnet，確保研究結(jié)果具有廣泛的代表性。

實(shí)驗(yàn)結(jié)果清晰地表明，CoD在保持高準(zhǔn)確率的同時(shí)，大幅降低了token使用量和延遲。在各類推理任務(wù)中，CoD與CoT相比展現(xiàn)出顯著的效率優(yōu)勢。

算術(shù)推理

在算術(shù)推理任務(wù)中，研究人員選擇了GSM8k數(shù)據(jù)集，該數(shù)據(jù)集包含8500個(gè)小學(xué)水平的數(shù)學(xué)問題，每個(gè)問題都配有詳細(xì)的逐步解決方案。

CoD展現(xiàn)出顯著的效率提升，實(shí)驗(yàn)結(jié)果見下表。

對于GPT-4o和Claude 3.5，CoD都達(dá)到了91%的準(zhǔn)確率，而每個(gè)響應(yīng)僅需約40個(gè)token，相比CoT減少了約80%。

這也降低了平均延遲，GPT-4o降低了76.2%，Claude 3.5降低了48.4%。

常識推理

在常識推理方面，研究人員評估了BIG - bench中的日期理解和體育理解任務(wù)。

CoD不僅通過生成顯著更少的響應(yīng)token，顯著降低了延遲和成本，而且準(zhǔn)確率優(yōu)于CoT。

在日期理解任務(wù)中，使用CoD的Claude 3.5 Sonnet模型達(dá)到了89.7%的準(zhǔn)確率，超過了CoT的87.0%，延遲從3.2s降低到1.4s。

體育理解任務(wù)中，CoD將Claude 3.5 Sonnet的平均輸出token從189.4減少到14.3，減少了92.4%！同時(shí)準(zhǔn)確率從93.2%提升至97.3%。

符號推理

在符號推理任務(wù)中，研究人員按照原始思維鏈論文的設(shè)計(jì)合成了一個(gè)包含250個(gè)示例的拋硬幣測試集。

在標(biāo)準(zhǔn)提示下，GPT-4o和Claude 3.5 Sonnet的準(zhǔn)確率分別為73.2%和85.2%。使用CoT和CoD時(shí)，兩個(gè)模型的準(zhǔn)確率均達(dá)到了100%。

與CoT相比，GPT-4o的token減少了68%，Claude 3.5 Sonnet減少了86%。

這些實(shí)驗(yàn)結(jié)果表明，CoD不僅能保持高準(zhǔn)確性，還能大幅提高推理效率。

CoT在需要高透明度、可解釋性強(qiáng)的場合表現(xiàn)出色，如復(fù)雜決策支持。CoD則在對效率和響應(yīng)速度有高要求的場景中更具優(yōu)勢，如實(shí)時(shí)應(yīng)用、大規(guī)模AI部署、資源受限環(huán)境等。

CoD讓先進(jìn)的推理技術(shù)變得更加親民、易用，有助于推動(dòng)其在更廣泛場景中的普及。