圖表代碼生成，ChartIR；視頻與文本統(tǒng)一多模態(tài)模型
Improved Iterative Refinement for Chart-to-Code Generation via Structured Instruction
2025-06-15｜SJTU, Shanghai Inno, Lehigh U, BIG AI, BIGAI|??8
??http://arxiv.org/abs/2506.14837v1???
???https://huggingface.co/papers/2506.14837??
研究背景與意義
- 問題定義與現(xiàn)狀概述
多模態(tài)大語言模型（MLLMs）在視覺理解領域表現(xiàn)卓越，但在圖表到代碼生成任務中仍存在明顯不足。該任務不僅要求模型精準理解高密度、多維度的圖表信息，還需將其準確轉化為結構化且可執(zhí)行的代碼。直接利用MLLMs進行此類復雜任務常常效果不佳，暴露出視覺理解與代碼翻譯兩大核心挑戰(zhàn)。
- 挑戰(zhàn)與目標闡明
當前主流方法存在訓練依賴、單一指標優(yōu)化、優(yōu)化過程不平衡等問題，限制了模型在圖表代碼生成上的表現(xiàn)。本文旨在提出一種無訓練、模型無關的迭代細化框架ChartIR，通過結構化指令顯著提升MLLMs的圖表理解與代碼生成能力，實現(xiàn)更高的視覺與結構一致性。
研究方法與創(chuàng)新
- 技術框架設計
ChartIR采用兩階段策略：初始代碼生成與迭代細化。初始階段通過多維度的結構化圖表描述，輔助模型理解圖表的文本、顏色、布局和類型等關鍵視覺特征。細化階段則基于生成圖表與參考圖表的差異描述，指導模型逐步修正代碼，提升生成圖表的整體質量。
- 創(chuàng)新點詳解
- 結構化圖表描述機制：區(qū)別于傳統(tǒng)單一視覺輸入，ChartIR引入描述與差異兩類指令，將復雜視覺信息轉化為模型易理解的語言表示，顯著增強模型的視覺語義理解能力。
- 迭代差異驅動的代碼細化：通過多維度差異分析，模型能針對具體視覺和結構缺陷進行精準修正，避免了以往單指標優(yōu)化帶來的局部最優(yōu)問題，實現(xiàn)全方位的圖表質量提升。
- 訓練自由與模型無關性：無需額外訓練即可適配開源與閉源模型（如Qwen2-VL和GPT-4o），保證方法的通用性和實用性。
- 理論基礎與優(yōu)勢ChartIR基于視覺-語言轉換和迭代優(yōu)化理論，利用中間結構化表示橋接視覺感知與代碼生成的模態(tài)鴻溝。相較于現(xiàn)有方法，其多維度描述和綜合差異反饋機制使得模型能更全面地理解和修正圖表細節(jié)，提升了代碼生成的準確性和可執(zhí)行性。
實驗設計與結果分析
- 實驗設置
采用Plot2Code和ChartMimic兩個公開基準數(shù)據(jù)集，分別評測開源模型Qwen2-VL和閉源模型GPT-4o。對比基線包括直接生成（Direct Generation）和最新的迭代多代理方法METAL。評價指標涵蓋GPT-4o主觀打分、文本、布局、類型、顏色等低層次視覺指標，以及PSNR、SSIM等傳統(tǒng)圖像相似性指標。
- 結果表現(xiàn)
- ChartIR在所有指標上均優(yōu)于基線，GPT-4o模型上GPT-4oScore提升達17%，表明生成圖表在視覺和結構上更接近參考圖。
- 開源模型Qwen2-VL同樣受益顯著，尤其在傳統(tǒng)圖像質量指標和低層視覺指標上提升明顯，驗證了結構化描述對增強模型視覺理解的有效性。
- 消融實驗顯示，描述和差異兩大模塊均為性能提升關鍵，缺一不可，且二者協(xié)同作用最為顯著。
- 多場景適用性實驗涵蓋多種圖表類型和復雜布局，ChartIR在多樣化場景中均展現(xiàn)出穩(wěn)定且優(yōu)越的性能，體現(xiàn)出良好的泛化能力和實用價值。
結論與展望
- 研究貢獻總結
本文提出的ChartIR框架通過結構化多維描述結合迭代差異細化，有效解決了圖表視覺理解與代碼翻譯的雙重難題，實現(xiàn)了無訓練、模型無關的高質量圖表代碼生成。實驗驗證了其在開源和閉源模型上的廣泛適用性和領先性能。
- 局限性分析
- 計算資源需求較高，尤其在迭代細化階段，盡管查詢次數(shù)減少，但整體計算成本仍需優(yōu)化。
- 對閉源模型的提升空間有限，因其本身已具備較強的圖表理解能力，結構化指令的增益相對有限。
- 未來研究方向
- 探索更高效的迭代策略和差異描述生成模型，以降低計算開銷。
- 針對閉源模型，設計更具針對性的結構化指令或輔助模塊，進一步挖掘其潛力。
- 擴展至更多復雜圖表類型及其他視覺到代碼轉換任務，推動多模態(tài)理解與生成技術的發(fā)展。
Show-o2: Improved Native Unified Multimodal Models
2025-06-18｜NUS, ByteDance, NUS Show Lab|??6
??http://arxiv.org/abs/2506.15564v1???
???https://huggingface.co/papers/2506.15564???
???https://github.com/showlab/Show-o??
研究背景與意義
- 研究背景
隨著大型語言模型（LLMs）和大型多模態(tài)模型（LMMs）的迅猛發(fā)展，統(tǒng)一多模態(tài)模型（UMMs）成為整合文本、圖像及視頻理解與生成的關鍵方向。現(xiàn)有研究多聚焦于文本與圖像的融合，尚缺乏對視頻模態(tài)的高效統(tǒng)一處理。
- 研究意義
本文提出的Show-o2模型，基于3D因果變分自編碼器（VAE）空間，通過空間-時間融合機制構建統(tǒng)一視覺表示，突破了以往模型在多模態(tài)融合上的局限，實現(xiàn)了文本、圖像和視頻的原生統(tǒng)一理解與生成，推動多模態(tài)模型向更廣泛應用場景邁進。
- 挑戰(zhàn)與目標
現(xiàn)有多模態(tài)模型往往依賴大規(guī)模文本語料，且多模態(tài)理解與生成能力分離，難以兼顧高效擴展與性能。Show-o2旨在通過雙路徑融合及兩階段訓練策略，既保留語言知識，又提升視覺生成能力，實現(xiàn)統(tǒng)一、高效且可擴展的多模態(tài)模型設計。
研究方法與創(chuàng)新
- 統(tǒng)一視覺表示設計
采用3D因果VAE編碼器提取圖像和視頻潛變量，設計雙路徑架構：語義層（Semantic Layers）提取高層語義信息，投影器（Projector）保留低層細節(jié)，兩者通過空間-時間融合機制結合，生成統(tǒng)一視覺表示，兼顧多模態(tài)理解和生成需求。
- 原生統(tǒng)一多模態(tài)建模
結合預訓練語言模型，構建包含語言頭和流頭（Flow Head）的雙頭架構。語言頭負責文本的自回歸建模，流頭通過流匹配（Flow Matching）實現(xiàn)圖像和視頻的生成，二者原生集成于單一模型，避免了以往多模型組裝的復雜性。
- 兩階段訓練策略
- 第一階段：針對流頭和視覺融合模塊進行訓練，利用66M圖文對及視頻文本數(shù)據(jù)，專注視覺生成能力的培養(yǎng)。
- 第二階段：微調整個模型，結合高質量多模態(tài)理解指令和視覺生成數(shù)據(jù)，確保語言理解與視覺生成能力的協(xié)同提升。該策略有效避免了對大規(guī)模文本語料的過度依賴，保持語言模型的知識完整性。
- 技術優(yōu)勢與創(chuàng)新點
- 原生支持文本、圖像和視頻三模態(tài)，提升模型的通用性和擴展性。
- 雙路徑融合機制兼顧語義與細節(jié)信息，增強多模態(tài)理解與生成效果。
- 流匹配結合自回歸建模，創(chuàng)新地融合了兩種主流生成范式。
- 兩階段訓練方案兼顧效率與效果，降低訓練成本，提升大規(guī)模模型訓練的可行性。
- 對比現(xiàn)有方法
相較于Chameleon、Transfusion和Show-o等模型，Show-o2不僅擴展到了視頻模態(tài)，還通過原生統(tǒng)一的模型架構和雙路徑融合機制，顯著提升了多模態(tài)任務的性能和生成質量。
實驗設計與結果分析
- 實驗設計
- 數(shù)據(jù)集：采用66M圖文對、視頻文本對及高質量多模態(tài)指令數(shù)據(jù)，涵蓋豐富場景。
- 模型規(guī)模：測試1.5B和7B參數(shù)兩種版本，驗證模型的可擴展性。
- 評測指標：覆蓋多模態(tài)理解（MME、GQA、SEED-Bench等）和視覺生成（GenEval、DPG-Bench、VBench）多個權威基準。
- 多模態(tài)理解性能
Show-o2在多項理解指標中表現(xiàn)優(yōu)異，1.5B版本在MME-p和MMU-val等指標領先同參數(shù)模型，7B版本超越多款7B及更大參數(shù)模型，證明統(tǒng)一視覺表示和融合機制的有效性。
- 視覺生成效果
Show-o2在圖像生成任務中，憑借僅66M圖文對訓練數(shù)據(jù)，達到甚至超越了依賴百億級數(shù)據(jù)訓練的競品模型。視頻生成方面，Show-o2以2B參數(shù)規(guī)模實現(xiàn)了對比更大模型的競爭力表現(xiàn)，生成視頻在語義連貫性和視覺質量上均表現(xiàn)優(yōu)異。
- 混合模態(tài)生成能力
模型支持交錯文本與圖像的生成，能夠連貫敘述故事，展示了強大的多模態(tài)交互能力和生成一致性。
- 消融實驗
- 空間-時間融合機制顯著提升了理解和生成指標。
- 分類器無關引導（CFG）和推理步數(shù)調整對生成質量有積極影響。
- 兩階段訓練策略對于最終性能提升至關重要。
結論與展望
- 總結貢獻
Show-o2提出了一種原生統(tǒng)一的多模態(tài)模型架構，通過雙路徑空間-時間融合和結合自回歸與流匹配的生成機制，實現(xiàn)了文本、圖像和視頻的統(tǒng)一理解與生成。兩階段訓練策略有效平衡了語言知識保留與視覺生成能力，模型在多項多模態(tài)理解和生成基準上均取得領先成績。
- 局限性
當前模型在圖像中文字渲染方面表現(xiàn)不足，存在一定的細節(jié)生成缺陷，提示未來需要加強視覺細節(jié)的表達能力。
- 未來展望
- 引入更高分辨率視覺編碼與生成技術，提升細節(jié)表現(xiàn)。
- 探索更高效的訓練與推理機制，降低計算資源需求。
- 擴展更多模態(tài)融合，如音頻與三維數(shù)據(jù)，推動多模態(tài)模型向更廣泛應用拓展。
- 加強模型在跨語言、多文化背景下的泛化能力，提升實用性與公平性。
本文轉載自??AI研究前瞻??，作者：胡耀淇
