字節(jié)最強多模態(tài)模型登陸火山引擎！Seed1.5-VL靠20B激活參數(shù)狂攬38項SOTA
5 月 13 日，火山引擎在上海搞了場 FORCE LINK AI 創(chuàng)新巡展，一股腦發(fā)布了 5 款模型和產(chǎn)品，包括豆包?視頻生成模型 Seedance 1.0 lite、升級后的豆包 1.5?視覺深度思考模型，以及新版豆包?音樂模型。同時，Data Agent 和 Trae 等產(chǎn)品也有了新進(jìn)展。
其中，全場最吸睛的就是豆包 1.5?視覺深度思考模型（以下稱 Seed 1.5-VL）。
相比于之前版本，Seed1.5-VL 具備更強的通用多模態(tài)理解和推理能力，不僅視覺定位和推理更快更準(zhǔn)，還新增了視頻理解、多模態(tài)智能體能力。
舉個例子。僅需一張圖，再來個提示詞，Seed1.5-VL 就能精準(zhǔn)識別觀眾、棒球、座椅、圍欄等多種元素，還能正確分類并給出坐標(biāo)。
再比如，喂它一段監(jiān)控，問一句：「今天小貓干了哪些壞事？」幾秒鐘后，它就丟過來幾段視頻，「抓包」了小貓遛彎、玩球、巡視、搞破壞等各種「作案」現(xiàn)場。
盡管 Seed1.5-VL 的激活參數(shù)僅有 20B，但其性能可達(dá)到與 Gemini2.5 Pro 相當(dāng)?shù)乃剑?60 個公開評測基準(zhǔn)中，有 38 個取得 SOTA 表現(xiàn)，在視頻理解、視覺推理、多模態(tài)智能體能力等方面均處于第一梯隊。
Seed1.5-VL 推理性能拉滿，但推理成本極具優(yōu)勢。據(jù)其官網(wǎng)顯示，Seed1.5-VL 推理輸入價格僅為每千 tokens 0.003 元，推理輸出價格為每千 tokens 0.009 元。
目前，Seed1.5-VL 已在火山引擎全面開放 API，開發(fā)者登錄后選擇 Doubao-1.5-thinking-vision-pro 即可快速調(diào)用其能力，構(gòu)建自己的 AI 視覺助手、巡檢系統(tǒng)、交互 Agent 或下一代智能攝像頭。
一手實測：視覺定位、推理又快又準(zhǔn)
說一千道一萬，模型好不好使，還得親自上手試。接下來，我們就奉上一手實測，檢驗一下 Seed1.5-VL 真實能力。
先來看看它的視覺定位和推理能力。
我們上傳一張擺滿各式各樣牛奶的貨架圖片，讓它找出圖中有幾盒黃桃味果粒酸奶優(yōu)酸乳，并計算它們的價格。
這類任務(wù)看似簡單，實則非?？简?zāi)Ｐ偷亩嗄B(tài)協(xié)同能力，需要它同時具備圖像理解（識別包裝）、文本 OCR（識別價格標(biāo)簽）、語義匹配（產(chǎn)品名稱匹配）、數(shù)學(xué)推理（乘法計算）等能力。
而 Seed1.5-VL 僅用不到 10 秒，就精準(zhǔn)識別出貨架角落里的黃桃味酸奶優(yōu)酸乳，還準(zhǔn)確數(shù)清瓶數(shù)、識別單價，并進(jìn)行正確的價格計算。
除了門店貨架巡檢的工作，我們還讓它找出下圖中有幾只小貓在生氣。
從圖像像素級別的變化中提取情緒線索，這對大模型的圖像理解精度、注意力機制、細(xì)粒度識別能力都是極大的挑戰(zhàn)。Seed1.5-VL 面對一整屏表情相似的小貓臉，準(zhǔn)確識別出 5 只在「生氣」，并給出了相應(yīng)坐標(biāo)。
還有下面這個「找不同」測試，Seed1.5-VL 既能精確分析兩張相似圖片的細(xì)微差別，又能清晰描述所有不同點，比如太陽左側(cè)飛鳥數(shù)量、沙灘球顏色等，這展示了它在視覺理解、空間關(guān)系處理和結(jié)構(gòu)化輸出方面的綜合能力。
此外，它還可以推理復(fù)雜視覺謎題。
比如這道公務(wù)員圖形推理題目，大部分人看到這些黑白方塊一頭霧水，但 Seed1.5-VL 僅用 10 秒就捕捉到其中的規(guī)律，通過精準(zhǔn)識別前兩行圖形疊加后「去同存異」的變換邏輯，準(zhǔn)確推導(dǎo)出第三行的缺失圖形。
對于開發(fā)者來說，Seed1.5-VL 新增的多模態(tài)智能體能力是一大利器。它基于強大的 GUI 定位性能，可在 PC 端、手機端等不同環(huán)境中完成復(fù)雜交互任務(wù)。
比如在測試環(huán)境中，Agent 可以識別并點擊「點贊」按鈕，用于模擬用戶行為，驗證功能流程是否正常。
技術(shù)解讀：重構(gòu)視覺理解邊界
作為 Seed 系列最新一代多模態(tài)模型，Seed1.5-VL 在超過 3T token 的多模態(tài)數(shù)據(jù)上完成預(yù)訓(xùn)練，在圖像問答、圖表理解、視覺推理、視頻分析、GUI 智能體等多個任務(wù)上表現(xiàn)突出，成為推動多模態(tài)交互應(yīng)用落地的重要引擎。
那么，該模型背后有哪些獨門絕技？
- 論文鏈接：https://arxiv.org/abs/2505.07062
- 技術(shù)報告：https://github.com/ByteDance-Seed/Seed1.5-VL/blob/main/Seed1.5-VL-Technical-Report.pdf
- GitHub：https://github.com/ByteDance-Seed/Seed1.5-VL
從模型架構(gòu)上來說，Seed1.5-VL 由三個核心組件構(gòu)成：首先是視覺編碼模塊 SeedViT，模型參數(shù)為 532M，用于對圖像和視頻進(jìn)行編碼，能夠處理任意長寬比的圖像輸入；其次是一個多層感知機（MLP）適配器，負(fù)責(zé)將視覺特征投影到多模態(tài)表征空間；最后是基于 MoE 架構(gòu)的大語言模型 Seed1.5-LLM，激活參數(shù)為 20B，專注于處理融合后的多模態(tài)輸入。
盡管激活參數(shù)規(guī)模遠(yuǎn)小于傳統(tǒng)大型模型，但其表現(xiàn)卻足以媲美甚至超越當(dāng)前多項主流方法，在保證性能的同時顯著降低了推理成本。
在訓(xùn)練方法上，Seed1.5-VL 并未從一開始就進(jìn)行聯(lián)合多模態(tài)學(xué)習(xí)，而是選擇了在語言模型基座上進(jìn)行多模態(tài)預(yù)訓(xùn)練，以實現(xiàn)靈活的消融實驗和快速迭代開發(fā)。
整個預(yù)訓(xùn)練過程分為三個階段：初期僅訓(xùn)練 MLP 適配器以初步對齊視覺和語言表征；中期解凍所有參數(shù)，在大規(guī)模圖文數(shù)據(jù)中強化知識積累、視覺 grounding 和 OCR 能力；后期在更均衡的數(shù)據(jù)混合中加入視頻、編程、三維理解等新領(lǐng)域數(shù)據(jù)，并將序列長度顯著增加，以處理復(fù)雜場景和長序列依賴。
到了后訓(xùn)練階段，Seed1.5-VL 引入了監(jiān)督微調(diào)（SFT）與強化學(xué)習(xí)（RL）的組合策略。
SFT 訓(xùn)練數(shù)據(jù)集包含通用指令數(shù)據(jù)和長鏈?zhǔn)剿伎紨?shù)據(jù)，前者用于簡潔準(zhǔn)確響應(yīng)，后者用于詳細(xì)分步推理。其中長鏈?zhǔn)剿伎紨?shù)據(jù)是基于強化學(xué)習(xí)后的模型，通過拒絕采樣的方式得到。
強化學(xué)習(xí)則整合了基于人類和驗證器反饋的強化學(xué)習(xí)（RLHF/RLVR）及多項先進(jìn)技術(shù)。采用混合獎勵，區(qū)分通用與可驗證提示，通用提示僅獎勵最終解以激勵思考探索；針對不同類型的任務(wù)采用差異化 KL 散度系數(shù)，平衡獎勵利用與探索。
考慮到多模態(tài)模型在訓(xùn)練中的異構(gòu)性挑戰(zhàn)，Seed1.5-VL 在 Training Infrastructure 設(shè)計上也進(jìn)行了大量工程創(chuàng)新。
模型采用多模態(tài)并行框架，針對視覺編碼 / MLP 適配器和語言模型分別使用 ZeRO 數(shù)據(jù)并行與標(biāo)準(zhǔn) 4D 并行策略，充分發(fā)揮各自優(yōu)勢；視覺 token 的重分配采用局部貪心負(fù)載均衡算法，將計算負(fù)載合理分布在 GPU 集群中，提升吞吐效率；此外，還定制了數(shù)據(jù)加載器，優(yōu)化了數(shù)據(jù)讀取和分發(fā)過程。
Seed1.5-VL 以其強大的多模態(tài)理解與推理能力，正在重塑我們與視覺世界交互的方式。無論是圖像定位、視覺推理還是長視頻解析，Seed1.5-VL 都展示了行業(yè)領(lǐng)先的技術(shù)實力，也為通用視覺系統(tǒng)的實際應(yīng)用拓寬了路徑。
結(jié)語
在此次上海巡展中，火山引擎展示了其在 AI 領(lǐng)域的多項創(chuàng)新成果。從輕量級視頻生成到深度視覺理解，再到音樂創(chuàng)作與全流程數(shù)據(jù)智能體，火山引擎正逐步構(gòu)建一個完整的技術(shù)生態(tài)，不僅為企業(yè)提供了更強的技術(shù)支撐，也推動了從業(yè)務(wù)流程到智能體應(yīng)用的全面落地。
這也意味著，真正的多模態(tài)智能時代，正加速走進(jìn)現(xiàn)實。
