本文第一作者為香港科技大學(xué)（廣州）機器人系一年級博士生宋文軒，主要研究方向為VLA模型，共同第一作者是來自香港科技大學(xué)廣州的研究助理陳家毅，項目leader為浙江大學(xué)和西湖大學(xué)聯(lián)合培養(yǎng)博士生丁鵬翔，他們也是具身智能領(lǐng)域開源項目OpenHelix以及LLaVA-VLA的研究團隊。通訊作者為香港科技大學(xué)廣州的李昊昂教授，他是今年的CVPR2025 Best Paper Candidate的獲得者。

近年來，視覺 - 語言 - 動作（Vision-Language-Action, VLA）模型因其出色的多模態(tài)理解與泛化能力，已成為機器人領(lǐng)域的重要研究方向。盡管相關(guān)技術(shù)取得了顯著進展，但在實際部署中，尤其是在高頻率和精細操作等任務(wù)中，VLA 模型仍受到推理速度瓶頸的嚴重制約。

針對這一問題，部分研究提出采用 Jacobi 解碼替代傳統(tǒng)的自回歸解碼，以期提升推理效率。然而，由于 Jacobi 解碼往往需要較多迭代次數(shù)，其加速效果在實踐中較為有限。

為此，我們提出了一種一致性蒸餾訓(xùn)練（consistency distillation training）策略，使模型在每次迭代中能夠同時預(yù)測多個正確的動作 token，從而實現(xiàn)解碼加速。同時，我們設(shè)計了混合標簽監(jiān)督機制（mixed-label supervision），用于緩解蒸餾過程中可能產(chǎn)生的誤差積累問題。

盡管上述方法帶來了可接受的加速效果，我們進一步觀察到：Jacobi 解碼中仍存在若干低效迭代步驟，成為限制整體效率的關(guān)鍵瓶頸。為徹底解決該問題，本文提出一種提前退出（early-exit）解碼策略，通過適度放寬收斂條件，進一步提升平均推理效率。

• 論文題目：CEED-VLA : Consistency Vision-Language-Action Model with Early-Exit Decoding
• 項目主頁：https://irpn-eai.github.io/CEED-VLA/
• 論文鏈接: https://arxiv.org/pdf/2506.13725
• 代碼鏈接: https://github.com/OpenHelix-Team/CEED-VLA

實驗結(jié)果表明，我們所提出的方法在多個基線模型上實現(xiàn)了超過4 倍的推理加速，同時在仿真與真實機器人任務(wù)中均保持了較高的任務(wù)成功率。這些實驗驗證了本方法在加速機器人多模態(tài)決策過程中的高效性與通用性，展現(xiàn)出良好的應(yīng)用前景?？偟膩碚f，我們做出以下三大貢獻：

（1）我們提出了一種通用的加速方法 CEED-VLA，在保持操控性能的前提下顯著提升了推理速度。

（2）我們引入了一種一致性蒸餾機制，并在自回歸損失中結(jié)合混合標簽監(jiān)督，以有效保留高質(zhì)量的動作序列。

（3）我們發(fā)現(xiàn) Jacobi 解碼存在低效迭代的瓶頸問題，進一步提出了早期退出（early-exit）解碼策略，實現(xiàn)了 4.1 倍的推理加速與 超過 4.3 倍的解碼頻率提升。

圖 1：不同解碼方法加速效果對比

Method

圖 2：CEED-VLA 模型架構(gòu)示意圖

我們提出的框架首先通過預(yù)訓(xùn)練的 VLA 模型（例如 LLaVA-VLA和OpenVLA）進行Jacobi Decoding生成訓(xùn)練Jacobi Trajectory數(shù)據(jù)集。隨后，我們設(shè)計了一種高效的一致性蒸餾方式，并引入了一種新穎的混合標簽監(jiān)督方法，在同時保證精度和提高速度的前提下訓(xùn)練學(xué)生模型。最后，我們提出了Early-exit Decoding技術(shù)，以進一步提升推理速度。模擬環(huán)境與現(xiàn)實世界中的實驗表明，在幾乎不損失任務(wù)成功率的前提下，該方法顯著提升了模型的推理速度和靈巧任務(wù)的成功率。

Consistency Training

對于目標 VLA 模型 ，為了捕捉 Jacobi 軌跡中的內(nèi)在一致性以進行一致性訓(xùn)練，我們首先通過在機器人數(shù)據(jù)集C上使用 Jacobi Decoding對模型 進行動作預(yù)測，來采集完整的Jacobi軌跡。

一致性訓(xùn)練包含兩個優(yōu)化目標：一致性損失(Consistency Loss): 引導(dǎo)模型能夠在單次forward過程中預(yù)測多個正確的 token，為了確保模型在軌跡中的任意一步都能生成與最終目標一致的動作，這里引入了 KL 散度作為一致性損失。簡而言之，它要求模型在每一個中間步驟的預(yù)測，和最終預(yù)測結(jié)果之間保持一致，從而提高模型收斂效率。

混合標簽的自回歸監(jiān)督損失(Mixed-label AR Supervision): 為了保留模型常規(guī)的自回歸生成能力，CEED-VLA混合使用教師模型的數(shù)據(jù)以及Ground-truth數(shù)據(jù)進行監(jiān)督，以保證動作精確性。最終的訓(xùn)練目標是兩種損失的加權(quán)和。訓(xùn)練過程如下所示:

圖4  一致性訓(xùn)練算法

Early-exit Decoding

圖 5：四種解碼方式迭代流程

Jacobi 解碼允許并行輸出動作token，在一定程度上提高了推理速度，但嚴格的收斂條件影響解碼效率進一步提升。為此我們提出Early-exit Decoding策略：模型通過提前退出的方式輸出中間預(yù)測結(jié)果，無需滿足Jacobi iteration的收斂條件。得益于manipulation任務(wù)獨特的結(jié)構(gòu)，Early-exit Decoding顯著提升了推理速度，同時保持了成功率，使得模型能夠以更高頻率控制機器人，滿足實時任務(wù)需求。

仿真環(huán)境基準實驗(Simulation Benchmark)

圖 6：仿真環(huán)境主要實驗結(jié)果

在最具挑戰(zhàn)的長程任務(wù)CALVIN ABC-D和LIBERO-Long基準上的實驗結(jié)果表明，CEED-VLA在幾乎不損失任務(wù)成功率的前提下實現(xiàn)了4倍以上的推理速度和執(zhí)行頻率。

真實世界實驗（Real World）

圖 9：真機實驗部署設(shè)置

圖 10：疊毛巾任務(wù)上的對比

上圖展示了 LLaVA-VLA 模型的真實表現(xiàn)。機械臂操作頻率較低，難以完成如疊毛巾等靈巧操作任務(wù)，經(jīng)常出現(xiàn)抓取失敗或只抓到一邊的情況，導(dǎo)致任務(wù)失敗。下圖展示了 CEED-VLA 模型的實驗效果。得益于推理頻率的提高，機械臂動作更加順暢，成功完成了靈巧操作任務(wù)。

圖 11：CEED-VLA 在真實世界中的實驗結(jié)果。

 CEED-VLA 顯著提升了推理速度和控制頻率，使模型能夠?qū)W習(xí)并執(zhí)行高頻動作，因此相比基線在靈巧任務(wù)上的成功率大幅提升，超過 70%。