當前大語言模型 (Large Language Models, LLMs) 如 GPT4 在遵循給定圖像的開放式指令方面表現(xiàn)出了出色的多模態(tài)能力。然而，這些模型的性能嚴重依賴于對網(wǎng)絡結(jié)構(gòu)、訓練數(shù)據(jù)和訓練策略等方案的選擇，但這些選擇并沒有在先前的文獻中被廣泛討論。此外，目前也缺乏合適的基準 (benchmarks) 來評估和比較這些模型，限制了多模態(tài) LLMs 的 發(fā)展。

圖片

• 論文：https://arxiv.org/abs/2307.02469
• 網(wǎng)站：https://lynx-llm.github.io/
• 代碼：https://github.com/bytedance/lynx-llm

在這篇文章中，作者從定量和定性兩個方面對此類模型的訓練進行了系統(tǒng)和全面的研究。設置了 20 多種變體，對于網(wǎng)絡結(jié)構(gòu)，比較了不同的 LLMs 主干和模型設計；對于訓練數(shù)據(jù)，研究了數(shù)據(jù)和采樣策略的影響；在指令方面，探討了多樣化提示對模型指令跟隨能力的影響。對于 benchmarks ，文章首次提出包括圖像和視頻任務的開放式視覺問答評估集 Open-VQA。

基于實驗結(jié)論，作者提出了 Lynx，與現(xiàn)有的開源 GPT4-style 模型相比，它在表現(xiàn)出最準確的多模態(tài)理解能力的同時，保持了最佳的多模態(tài)生成能力。

評估方案

不同于典型的視覺語言任務，評估 GPT4-style 模型的主要挑戰(zhàn)在于平衡文本生成能力和多模態(tài)理解準確性兩個方面的性能。為了解決這個問題，作者提出了一種包含視頻和圖像數(shù)據(jù)的新 benchmark Open-VQA，并對當前的開源模型進行了全面的評價。

具體來說，采用了兩種量化評價方案：

• 收集開放式視覺問答 (Open-VQA) 測試集，其包含關(guān)于物體、OCR、計數(shù)、推理、動作識別、時間順序等不同類別的問題。不同于有標準答案的 VQA 數(shù)據(jù)集，Open-VQA 的答案是開放式的。為了評估 Open-VQA 上的性能，使用 GPT4 作為判別器，其結(jié)果與人類評估有 95% 的一致性。
• 此外，作者采用了由 mPLUG-owl [1] 提供的 OwlEval 數(shù)據(jù)集來評估模型的文本生成能力，雖然只包含 50 張圖片 82 個問題，但涵蓋故事生成、廣告生成、代碼生成等多樣問題，并招募人工標注員對不同模型的表現(xiàn)進行打分。

結(jié)論

為了深入研究多模態(tài) LLMs 的訓練策略，作者主要從網(wǎng)絡結(jié)構(gòu)（前綴微調(diào) / 交叉注意力）、訓練數(shù)據(jù)（數(shù)據(jù)選擇及組合比例）、指示（單一指示 / 多樣化指示）、LLMs 模型（LLaMA [5]/Vicuna [6]）、圖像像素（420/224）等多個方面設置了二十多種變體，通過實驗得出了以下主要結(jié)論：

• 多模態(tài) LLMs 的指示遵循能力不如 LLMs。例如，InstructBLIP [2] 傾向于不管輸入指令如何都生成簡短的回復，而其他模型傾向于生成長句子而不考慮指令，作者認為這是由于缺乏高質(zhì)量和多樣化的多模態(tài)指令數(shù)據(jù)所導致的。
• 訓練數(shù)據(jù)的質(zhì)量對模型的性能至關(guān)重要。基于在不同的數(shù)據(jù)上進行實驗的結(jié)果，發(fā)現(xiàn)使用少量的高質(zhì)量數(shù)據(jù)比使用大規(guī)模的噪聲數(shù)據(jù)表現(xiàn)得更好。作者認為這是生成式訓練和對比式訓練的區(qū)別，因為生成式訓練是直接學習詞的條件分布而不是文本和圖像的相似度。因此，為了更好的模型性能，在數(shù)據(jù)方面需要滿足兩點：1）包含高質(zhì)量的流暢文本；2）文本和圖像內(nèi)容對齊得較好。
• 任務和提示對零樣本 (zero-shot) 能力至關(guān)重要。使用多樣化任務和指令可以提升模型在未知任務上的零樣本生成能力，這與純文本模型中的觀察結(jié)果一致。
• 平衡正確性和語言生成能力是很重要的。如果模型在下游任務 (如 VQA) 上訓練不足，更可能生成與視覺輸入不符的編造的內(nèi)容；而如果模型在下游任務中訓練過多，它則傾向于生成短答案，將無法按照用戶的指示生成較長的答案。
• 前綴微調(diào) (prefix-finetuning, PT) 是目前對 LLMs 進行多模態(tài)適配的最佳方案。在實驗中，prefix-finetuning 結(jié)構(gòu)的模型能更快地提升對多樣化指示的遵循能力，比交叉注意力 (cross-attention, CA) 的模型結(jié)構(gòu)更易訓練。（prefix-tuning 和 cross-attention 為兩種模型結(jié)構(gòu)，具體見 Lynx 模型介紹部分）

Lynx 模型

作者提出了 Lynx（猞猁）—— 進行了兩階段訓練的 prefix-finetuning 的 GPT4-style 模型。在第一階段，使用大約 120M 圖像 - 文本對來對齊視覺和語言嵌入 (embeddings) ；在第二階段，使用 20 個圖像或視頻的多模態(tài)任務以及自然語言處理 (NLP) 數(shù)據(jù)來調(diào)整模型的指令遵循能力。

圖片

Lynx 模型的整體結(jié)構(gòu)如上圖 Figure 1 所示。

視覺輸入經(jīng)過視覺編碼器處理后得到視覺令牌 (tokens) $$W_v$$，經(jīng)過映射后與指令 tokens $$W_l$$ 拼接作為 LLMs 的輸入，在本文中將這種結(jié)構(gòu)稱為「prefix-finetuning」以區(qū)別于如 Flamingo [3] 所使用的 cross-attention 結(jié)構(gòu)。

此外，作者發(fā)現(xiàn)，通過在凍結(jié) (frozen) 的 LLMs 某些層后添加適配器 (Adapter) 可以進一步降低訓練成本。

模型效果

作者測評了現(xiàn)有的開源多模態(tài) LLMs 模型在 Open-VQA、Mme [4] 及 OwlEval 人工測評上的表現(xiàn)（結(jié)果見后文圖表，評估細節(jié)見論文）?？梢钥吹?strong> Lynx 模型在 Open-VQA 圖像和視頻理解任務、OwlEval 人工測評及 Mme Perception 類任務中都取得了最好的表現(xiàn)。其中，InstructBLIP 在多數(shù)任務中也實現(xiàn)了高性能，但其回復過于簡短，相較而言，在大多數(shù)情況下 Lynx 模型在給出正確的答案的基礎(chǔ)上提供了簡明的理由來支撐回復，這使得它對用戶更友好（部分 cases 見后文 Cases 展示部分）。

1. 在 Open-VQA 圖像測試集上的指標結(jié)果如下圖 Table 1 所示：

圖片

2. 在 Open-VQA 視頻測試集上的指標結(jié)果如下圖 Table 2 所示。

圖片

3. 選取 Open-VQA 中得分排名靠前的模型進行 OwlEval 測評集上的人工效果評估，其結(jié)果如上圖 Figure 4 所示。從人工評價結(jié)果可以看出 Lynx 模型具有最佳的語言生成性能。

圖片

4. 在 Mme benchmark 測試中，Perception 類任務獲得最好的表現(xiàn)，其中 14 類子任務中有 7 個表現(xiàn)最優(yōu)。（詳細結(jié)果見論文附錄）

Cases 展示

Open-VQA 圖片 cases

OwlEval cases

Open-VQA 視頻 case

總結(jié)

在本文中，作者通過對二十多種多模態(tài) LLMs 變種的實驗，確定了以 prefix-finetuning 為主要結(jié)構(gòu)的 Lynx 模型并給出開放式答案的 Open-VQA 測評方案。實驗結(jié)果顯示 Lynx 模型表現(xiàn)最準確的多模態(tài)理解準確度的同時，保持了最佳的多模態(tài)生成能力。