1. 一眼概覽

MambaVision 提出一種混合 Mamba-Transformer 視覺骨干網(wǎng)絡(luò)，首次將狀態(tài)空間模型（SSM）與自注意力機(jī)制融合，顯著提升圖像分類、檢測和分割任務(wù)的準(zhǔn)確率與效率，達(dá)到新一代性能-速度最優(yōu)前沿。

2. 核心問題

雖然 Mamba 模型在語言任務(wù)中展現(xiàn)了優(yōu)秀的長序列建模能力，但其自回歸結(jié)構(gòu)難以高效捕捉圖像中的全局空間依賴，限制了在計(jì)算機(jī)視覺中的表現(xiàn)。如何在保持高吞吐和低復(fù)雜度的前提下建模圖像中的長程依賴，是本研究要解決的核心問題。

3. 技術(shù)亮點(diǎn)

• 視覺友好的 Mamba 重設(shè)計(jì)：引入對稱非 SSM 分支，替換因果卷積，有效增強(qiáng)對空間信息的建模能力；
• Mamba + Transformer 的混合架構(gòu)：在模型末端引入多層自注意力塊，顯著提升對長程依賴的捕捉能力；
• SOTA 性能-效率平衡：在 ImageNet-1K 上實(shí)現(xiàn)新的準(zhǔn)確率-吞吐率最優(yōu)曲線，并在下游任務(wù)上超越主流主干模型。

4. 方法框架

圖片

MambaVision 使用四階段層次化架構(gòu)：

? Stage 1–2：采用 CNN 殘差塊快速提取高分辨率特征；

? Stage 3–4：前半使用 MambaVision Mixer，后半加入 Transformer 自注意力模塊，結(jié)合局部與全局建模能力；

? Mixer 模塊：SSM 分支建模序列依賴，新增對稱卷積分支增強(qiáng)空間特征，最終拼接融合；

? 下采樣和線性投影貫穿各階段，形成統(tǒng)一的視覺表示。

5. 實(shí)驗(yàn)結(jié)果速覽

?? 圖像分類（ImageNet-1K）：

? MambaVision-B 實(shí)現(xiàn) 84.2% Top-1 準(zhǔn)確率，超過 ConvNeXt-B（83.8%）和 Swin-B（83.5%）；

? 同時(shí)吞吐率遠(yuǎn)高于 VMamba 和 Swin 系列；

? GFLOPs 顯著減少（如比 MaxViT-B 少 56%）。

?? 目標(biāo)檢測與實(shí)例分割（MS COCO）：

? MambaVision-T/S/B 在 Mask-RCNN 和 Cascade-RCNN 中整體超過 Swin 和 ConvNeXt 同級模型；

? 如 MambaVision-B 達(dá)到 52.8 box AP / 45.7 mask AP。

?? 語義分割（ADE20K）：

? MambaVision-B 實(shí)現(xiàn) 49.1% mIoU，優(yōu)于 Swin-B（48.1%）和 Focal-B（49.0%）等。

6. 實(shí)用價(jià)值與應(yīng)用

MambaVision 為部署在算力受限設(shè)備上的高性能視覺任務(wù)提供新方案，尤其適用于：

? 實(shí)時(shí)圖像分類與檢測；

? 高分辨率語義分割（如城市交通感知）；

? 視覺感知系統(tǒng)中的輕量級嵌入式應(yīng)用。

其優(yōu)異的性能-效率權(quán)衡使其成為 Transformer 替代方案的新候選。

7. 開放問題

? 如果在更復(fù)雜的跨尺度視覺任務(wù)（如多模態(tài)融合）中，MambaVision 的表現(xiàn)是否仍具優(yōu)勢？

? 是否能將 MambaVision 的混合模式推廣至視頻理解或時(shí)序圖像分析中？

? MambaVision 能否進(jìn)一步壓縮為移動(dòng)端模型以適應(yīng)邊緣計(jì)算？