隨著人工智能技術(shù)的不斷發(fā)展，多模態(tài)模型在圖像理解、自然語(yǔ)言處理等領(lǐng)域的應(yīng)用越來(lái)越廣泛。SAIL-VL2 是由字節(jié)跳動(dòng)抖音 SAIL 團(tuán)隊(duì)和新加坡國(guó)立大學(xué) LV-NUS 實(shí)驗(yàn)室聯(lián)合推出的一款開(kāi)源多模態(tài)視覺(jué)語(yǔ)言模型，旨在實(shí)現(xiàn)全面的多模態(tài)理解和推理。

一、項(xiàng)目概述

SAIL-VL2 是由字節(jié)跳動(dòng)抖音 SAIL 團(tuán)隊(duì)和新加坡國(guó)立大學(xué) LV-NUS 實(shí)驗(yàn)室聯(lián)合開(kāi)發(fā)的開(kāi)源視覺(jué)語(yǔ)言基礎(chǔ)模型。作為 SAIL-VL 的繼任者，SAIL-VL2 在 2B 和 8B 參數(shù)規(guī)模下，于多樣化的圖像與視頻基準(zhǔn)測(cè)試中均達(dá)到當(dāng)前最優(yōu)性能，展現(xiàn)出從細(xì)粒度感知到復(fù)雜推理的強(qiáng)勁能力。其核心創(chuàng)新包括大規(guī)模數(shù)據(jù)篩選與優(yōu)化、漸進(jìn)式訓(xùn)練框架以及混合專家（MoE）架構(gòu)，使得模型在效率和性能上均實(shí)現(xiàn)了顯著提升。

圖片

二、核心功能

（一）多模態(tài)理解與交互

SAIL-VL2 能夠同時(shí)處理圖像和文本信息，準(zhǔn)確完成多種任務(wù)，如圖像描述生成、視覺(jué)問(wèn)答等。它能夠理解視覺(jué)內(nèi)容并生成相應(yīng)的語(yǔ)言描述，為多模態(tài)交互提供了強(qiáng)大的基礎(chǔ)。這種能力使其在內(nèi)容創(chuàng)作、智能客服等領(lǐng)域具有廣泛的應(yīng)用前景。

（二）高效的模型架構(gòu)

SAIL-VL2 采用創(chuàng)新的混合專家（MoE）架構(gòu)，在僅激活部分參數(shù)的情況下實(shí)現(xiàn)高性能，顯著提升了計(jì)算效率。這種架構(gòu)突破了傳統(tǒng)密集型模型的限制，使得模型在大規(guī)模數(shù)據(jù)處理和復(fù)雜任務(wù)中表現(xiàn)出色，同時(shí)降低了訓(xùn)練和部署成本。

（三）精準(zhǔn)的理解與推理

通過(guò)先進(jìn)的多模態(tài)融合技術(shù)，SAIL-VL2 能夠更準(zhǔn)確地理解復(fù)雜的視覺(jué)信息，并結(jié)合上下文進(jìn)行深度推理。它在多種基準(zhǔn)測(cè)試中表現(xiàn)出色，尤其是在復(fù)雜推理任務(wù)中，展現(xiàn)了強(qiáng)大的邏輯推理能力，為多模態(tài)應(yīng)用提供了可靠的解決方案。

（四）大規(guī)模數(shù)據(jù)處理

SAIL-VL2 通過(guò)優(yōu)化的數(shù)據(jù)處理管道，能夠高效處理海量的多模態(tài)數(shù)據(jù)。其數(shù)據(jù)處理策略包括評(píng)分與篩選，確保數(shù)據(jù)質(zhì)量和分布的多樣性，從而提升訓(xùn)練效率和模型性能。這種能力使其在處理大規(guī)模多模態(tài)數(shù)據(jù)時(shí)具有顯著優(yōu)勢(shì)。

（五）多任務(wù)學(xué)習(xí)

SAIL-VL2 支持多種多模態(tài)任務(wù)，如字幕生成、OCR 識(shí)別、視頻理解等，具有廣泛的適用性。通過(guò)多任務(wù)學(xué)習(xí)，模型能夠同時(shí)處理多種任務(wù)，展現(xiàn)出強(qiáng)大的通用性和適應(yīng)性，為多模態(tài)應(yīng)用提供了靈活的解決方案。

三、技術(shù)揭秘

（一）視覺(jué)編碼器SAIL-ViT

SAIL-VL2 的視覺(jué)編碼器 SAIL-ViT 基于 Vision Transformer 架構(gòu)，能夠高效地將圖像和視頻編碼為視覺(jué)標(biāo)記序列。通過(guò)漸進(jìn)式訓(xùn)練，SAIL-ViT 逐步提升視覺(jué)特征與語(yǔ)言模型的對(duì)齊能力，最終實(shí)現(xiàn)全面的跨模態(tài)融合。這種設(shè)計(jì)不僅提高了視覺(jué)理解的準(zhǔn)確性，還增強(qiáng)了模型在多模態(tài)任務(wù)中的表現(xiàn)。

（二）漸進(jìn)式訓(xùn)練框架

SAIL-VL2 采用漸進(jìn)式訓(xùn)練框架，從視覺(jué)編碼器的預(yù)訓(xùn)練開(kāi)始，逐步過(guò)渡到多模態(tài)預(yù)訓(xùn)練，最后通過(guò)監(jiān)督微調(diào)（SFT）和強(qiáng)化學(xué)習(xí)（RL）混合范式進(jìn)行優(yōu)化。這種分階段的訓(xùn)練方法系統(tǒng)性地提升了模型的多模態(tài)理解和推理能力，確保模型在不同任務(wù)中都能表現(xiàn)出色。

（三）混合專家（MoE）架構(gòu)

SAIL-VL2 引入了高效的混合專家（MoE）架構(gòu)，突破了傳統(tǒng)密集型大語(yǔ)言模型的限制。通過(guò)僅激活部分參數(shù)，MoE 架構(gòu)在保持高性能的同時(shí)顯著提升了計(jì)算效率和模型規(guī)模的可擴(kuò)展性。這種架構(gòu)設(shè)計(jì)使得 SAIL-VL2 在處理大規(guī)模多模態(tài)數(shù)據(jù)時(shí)更加高效。

（四）數(shù)據(jù)處理與優(yōu)化

SAIL-VL2 通過(guò)優(yōu)化的數(shù)據(jù)處理管道，能夠高效處理海量的多模態(tài)數(shù)據(jù)。其數(shù)據(jù)處理策略包括評(píng)分與篩選，確保數(shù)據(jù)質(zhì)量和分布的多樣性，從而提升訓(xùn)練效率和模型性能。此外，SAIL-VL2 還采用了動(dòng)態(tài)學(xué)習(xí)率搜索（AdaLRS）等技術(shù)，進(jìn)一步優(yōu)化訓(xùn)練過(guò)程。

（五）多模態(tài)任務(wù)適配

SAIL-VL2 通過(guò)設(shè)計(jì)靈活的適配器和訓(xùn)練策略，能夠適應(yīng)多種多模態(tài)任務(wù)，如圖像描述生成、視覺(jué)問(wèn)答、視頻理解等。這種多任務(wù)適配能力使得 SAIL-VL2 在不同應(yīng)用場(chǎng)景中都能展現(xiàn)出強(qiáng)大的通用性和適應(yīng)性，為多模態(tài)應(yīng)用提供了靈活的解決方案。

四、基準(zhǔn)評(píng)測(cè)

（一）多模態(tài)理解任務(wù)

在MMBench-v1.1、MMStar、RealWorldQA 等基準(zhǔn)測(cè)試中，SAIL-VL2-2B 和 SAIL-VL2-8B 均取得了領(lǐng)先的成績(jī)。

（二）復(fù)雜推理任務(wù)

SAIL-VL2-Thinking 在 MathVista、LogicVista 等復(fù)雜推理基準(zhǔn)測(cè)試中表現(xiàn)出色，8B 版本的零樣本分?jǐn)?shù)達(dá)到 75.8。

五、應(yīng)用場(chǎng)景

（一）圖像描述生成

SAIL-VL2 能夠根據(jù)輸入的圖像自動(dòng)生成準(zhǔn)確且自然的描述文本。這一功能在內(nèi)容創(chuàng)作、智能標(biāo)注等領(lǐng)域具有重要應(yīng)用價(jià)值。例如，它可以為社交媒體平臺(tái)自動(dòng)生成圖像描述，幫助用戶更快地發(fā)布內(nèi)容，提升用戶體驗(yàn)。此外，它還可以用于輔助視障人士理解圖像內(nèi)容，提供更加友好的信息訪問(wèn)方式。

（二）視覺(jué)問(wèn)答（VQA）

SAIL-VL2 可以理解圖像內(nèi)容并回答與圖像相關(guān)的問(wèn)題。這一功能在智能客服、教育輔助等領(lǐng)域具有廣泛應(yīng)用。例如，在智能客服中，SAIL-VL2 可以通過(guò)圖像問(wèn)答幫助用戶解決產(chǎn)品相關(guān)問(wèn)題；在教育領(lǐng)域，它可以輔助學(xué)生理解復(fù)雜的圖像內(nèi)容，提高學(xué)習(xí)效果。

（三）多模態(tài)內(nèi)容創(chuàng)作

SAIL-VL2 支持從文本生成圖像或從圖像生成文本，實(shí)現(xiàn)視覺(jué)與語(yǔ)言之間的有效轉(zhuǎn)換。這一功能在廣告設(shè)計(jì)、故事創(chuàng)作等領(lǐng)域具有重要應(yīng)用。例如，廣告設(shè)計(jì)師可以利用 SAIL-VL2 根據(jù)創(chuàng)意文本快速生成圖像，提高創(chuàng)作效率；創(chuàng)作者也可以通過(guò)圖像生成文本，豐富內(nèi)容形式。

（四）視頻理解與分析

SAIL-VL2 能夠處理視頻數(shù)據(jù)，提取關(guān)鍵幀信息并生成視頻摘要或描述。這一功能在視頻推薦、監(jiān)控分析等領(lǐng)域具有重要應(yīng)用。例如，在視頻推薦系統(tǒng)中，SAIL-VL2 可以通過(guò)視頻理解生成更準(zhǔn)確的視頻標(biāo)簽，提升推薦效果；在監(jiān)控分析中，它可以實(shí)時(shí)分析視頻內(nèi)容，及時(shí)發(fā)現(xiàn)異常情況。

（五）智能搜索

SAIL-VL2 結(jié)合圖像和文本信息，提供更精準(zhǔn)的搜索結(jié)果。這一功能在電商平臺(tái)、內(nèi)容檢索等領(lǐng)域具有重要應(yīng)用。例如，在電商平臺(tái)上，用戶可以通過(guò)上傳圖像或輸入文本，快速找到相關(guān)商品；在內(nèi)容檢索中，SAIL-VL2 可以通過(guò)多模態(tài)理解，提供更準(zhǔn)確的搜索結(jié)果，提升用戶體驗(yàn)。

 六、快速使用

以SAIL-VL2-2B 模型為例，以下是使用 Python 進(jìn)行推理的代碼示例：

import torch
from transformers import AutoTokenizer, AutoModel, AutoProcessor
from PIL import Image


model_path = "your model path"


tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True)
device = torch.cuda.current_device()
model = AutoModel.from_pretrained(model_path, trust_remote_code=True, torch_dtype=torch.bfloat16,).to(device)


print("###with images")
messages = [
    {"role": "user", "content": [{"type": "image", "image": 'image_path'},
    {"type": "text", "text": "describe the image"}]}
]
text = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)


image_path = 'your image path'
image = Image.open(image_path)
inputs = processor(images=image, text=text, return_tensors="pt", padding=True, truncatinotallow=True).to(model.device).to(torch.bfloat16)


generated_ids = model.generate(**inputs, max_new_tokens=512)
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
response = response.split('<|im_end|>')[0].strip()
print(response)


print("###without images")
messages = [
    {
        "role": "user",
        "content": [{"type": "text", "text": "中國(guó)的首都是哪里？"}]
    }
]
text = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
inputs = processor(images=None, text=text, return_tensors="pt", padding=True, truncatinotallow=True).to(model.device).to(torch.bfloat16)
generated_ids = model.generate(**inputs, max_new_tokens=512)
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
response = response.split('<|im_end|>')[0].strip()
print(response)

結(jié)語(yǔ)

SAIL-VL2 作為一款開(kāi)源的多模態(tài)視覺(jué)語(yǔ)言模型，憑借其高效的架構(gòu)設(shè)計(jì)、強(qiáng)大的多模態(tài)能力和卓越的推理性能，在多個(gè)領(lǐng)域展現(xiàn)出了巨大的應(yīng)用潛力。其開(kāi)源特性為研究人員和開(kāi)發(fā)者提供了豐富的資源，有助于推動(dòng)多模態(tài)人工智能技術(shù)的發(fā)展與創(chuàng)新。

項(xiàng)目地址如下：

Github倉(cāng)庫(kù)：https://github.com/BytedanceDouyinContent/SAIL-VL2

Hugging Face 模型庫(kù)：(https://huggingface.co/BytedanceDouyinContent

arXiv 技術(shù)論文：https://arxiv.org/pdf/2509.14033