如何高效橋接視覺和語言，字節(jié)&中大提出全新多模態(tài)大模型連接器ParGo
在多模態(tài)大語言模型（MLLMs）的發(fā)展中，視覺 - 語言連接器作為將視覺特征映射到 LLM 語言空間的關鍵組件，起到了橋梁作用。因此，它幾乎成為了所有多模態(tài)大語言模型中不可或缺的結構之一。然而，如何高效地將視覺特征映射到 LLM 的探索還有很大提升空間。
字節(jié)團隊與中大合作提出的 ParGo 模型，通過巧妙地融合全局視野和局部細節(jié)，在多項權威基準測試（Benchmark）中表現(xiàn)出色，成功入選了 AAAI 2025。
- 論文地址：https://arxiv.org/abs/2408.12928
- 代碼地址: https://github.com/bytedance/ParGo
過去，大多數(shù)研究主要依賴線性投影或多層感知機（MLP）將視覺特征直接映射，這種方法難以有效控制輸入 LLMs 的視覺 token 數(shù)量，特別是在處理細粒度特征時，導致計算成本極高。另一類基于注意力機制的方法（如 Q-former）通過注意力操作將圖像特征投射為固定數(shù)量的視覺 token，雖然大幅減少了計算成本，但往往使得生成的 token 集中在圖像的顯著區(qū)域，忽略了細節(jié)部分。
為了解決這一問題，ParGo 提出了一種創(chuàng)新的全局 - 局部投影器來連接視覺與文本，通過結合全局視野和局部細節(jié)的雙重視角，克服了傳統(tǒng)方法對顯著區(qū)域的過度聚焦，使得視覺特征能夠在更細膩的層面上得到全面展現(xiàn)，同時有能有效控制過長的 token 帶來的計算成本的升高，進而實現(xiàn)了視覺特征和 LLM 的高效連接。
全局 + 局部視角聯(lián)合
方法
ParGo (Partial-Global) 采用兩種類型的可學習 token， 利用 attention 機制，同時從局部和全局視角將視覺特征映射到大語言模型（LLM）中。該框架包含兩個關鍵模塊：Partial-Global Perception Block (PGP) 和 Cascaded Partial Perception Block (CPP)。這兩個模塊共同作用，實現(xiàn)了高效的視覺 - 語言連接，既捕捉了圖像的全局信息，又能精細地提取局部特征，從而提升了多模態(tài)大語言模型的效果。
圖 1: ParGo 模型框架圖
核心模塊
- Partial-Global Perception Block （PGP）
在 ParGo 中，視覺編碼器的特征被映射為兩種不同類型的 token：Partial token 和 Global token，從而能夠分別提取圖像的局部和全局信息。具體來說：
- Partial tokens：每個 token 僅與部分視覺特征進行交互，專注于圖像的局部信息
- Global tokens：全局 token 則與所有視覺特征進行交互，捕捉圖像的全局信息
ParGo 采用了一種新的交叉注意力掩碼設計（Partial-Global Attention Mask），如圖 1 (b) 所示，來處理輸入的視覺特征。該設計能夠同時輸出包含圖像局部和全局信息的特征，即 Partial tokens 和 Global tokens。具體的公式如下：
- Cascaded Partial Perception Block (CPP)
此外，考慮到不同局部物體在圖像中的占比不同，為了進一步增強對多種局部信息的完整捕獲能力，ParGo 在 Partial-Global Perception 模塊之前引入了 Cascaded Partial Perception (CPP) 模塊。
CPP 模塊 的核心是一個帶有特殊設計掩碼的自注意力機制，如圖 1 (b) 中的 Cascaded Partial Attention Mask。隨著層數(shù)的增加，每個 Partial token 能夠訪問到更多的相鄰 token，從而逐步擴展其感知范圍。該過程可以通過以下公式表示：
實驗效果
論文重點對比了當前不同類型的 Projector（投射器），在一些通用的 MLLM 的 benchmark 的效果，均取得了優(yōu)異的效果。
為了進一步進行公平對比，論文在相同數(shù)據(jù)集和實驗參數(shù)下，比較了三種主流的投影器（Projector）。結果顯示，ParGo 依然取得了最佳的性能表現(xiàn)。另外，在不同基座 LLM 下，ParGo 均表現(xiàn)良好，體現(xiàn)出了更好的泛化性能。
不同 Projector 之間的比較
換用不同的基座 LLM 的比較
案例分析
為了能進一步展現(xiàn) ParGo 在控制 token 數(shù)量的情況下，依然能做到細粒度和空間關系的準確捕獲，作者對比了 ParGo 和 Q-former 這兩種均是基于注意力機制的 Projector（投射器）在相同 tokens 下的效果：
文字識別更加準確
圖像的細節(jié)描述程度更好
局部元素識別效果更好
結論
本研究提出了 ParGo（局部 - 全局投影器），一種創(chuàng)新的視覺 - 語言投影方案，旨在提升多模態(tài)大語言模型（MLLMs）中視覺和語言模態(tài)的對齊效果。ParGo 通過結合局部 token 和全局 token，并使用精心設計的注意力掩碼分別提取局部和全局信息，在控制 token 數(shù)量的同時增強了局部區(qū)域之間的關系建模，充分考慮了圖像的細節(jié)與全局視角，從而克服了傳統(tǒng)方法中忽視細節(jié)的問題。
