本文第一作者為鄧慧琳，中國科學技術(shù)大學碩博連讀四年級，研究方向為多模態(tài)模型視覺理解、推理增強（R1強化學習）、異常檢測。在TAI、TASE、ICCV等期刊和頂會發(fā)表論文。

近年來，隨著大型語言模型（LLMs）的快速發(fā)展，多模態(tài)理解領(lǐng)域取得了前所未有的進步。像 OpenAI、InternVL 和 Qwen-VL 系列這樣的最先進的視覺-語言模型（VLMs），在處理復(fù)雜的視覺-文本任務(wù)時展現(xiàn)了卓越的能力。

然而，這些成就主要依賴于大規(guī)模模型擴展（>32B 參數(shù)），這在資源受限的環(huán)境中造成了顯著的部署障礙。因此，如何通過有效的后訓練（post-training）范式來縮小小規(guī)模多模態(tài)模型與大規(guī)模模型之間的性能差距，是亟待解決的問題。

目前，VLM 的主流訓練方法是監(jiān)督微調(diào)（SFT），即使用人工標注或 AI 生成的高質(zhì)量數(shù)據(jù)對模型進行有監(jiān)督訓練。但這種方法在小模型上存在兩個關(guān)鍵問題：

• 域外泛化能力不足（Out-of-Domain generalization collapse）：容易過擬合訓練數(shù)據(jù)，在未見過的場景時性能顯著下降。
• 推理能力有限（shallow reasoning abilities）：傾向于淺層模式匹配，而非真正的理解和推理。這導(dǎo)致模型雖能應(yīng)對相似問題，但難以處理需要深度思考的復(fù)雜問題。

圖 1. 實驗結(jié)果分析。 (a) SFT 與 RL 方法性能對比：通過對比域內(nèi)和域外性能，實驗證實了強化學習方法在各類視覺任務(wù)中具有更強的 OOD 泛化能力。 (b) "磚墻"現(xiàn)象分析：在小規(guī)模 VLMs 中觀察到：面對復(fù)雜樣本時出現(xiàn)訓練不穩(wěn)定性，模型最終收斂到次優(yōu)解。我們提出的課程強化學習方法采用難度感知的獎勵設(shè)計，確保模型能力從基礎(chǔ)任務(wù)到復(fù)雜推理任務(wù)的穩(wěn)步提升。

通過系統(tǒng)實驗，我們發(fā)現(xiàn)基于強化學習的訓練方法在提升模型域外泛化性方面具有獨特優(yōu)勢。

然而，在實踐中我們觀察到一個顯著的「磚墻」（Brick Wall）現(xiàn)象：小規(guī)模模型在簡單任務(wù)上快速進步，但在復(fù)雜任務(wù)上遇到瓶頸，甚至導(dǎo)致已掌握能力的退化。這種現(xiàn)象表現(xiàn)為訓練過程的劇烈震蕩，最終導(dǎo)致模型收斂到次優(yōu)解。

為突破這一瓶頸，我們從課程學習（Curriculum Learning, CL）中汲取靈感。課程學習是一種將模型逐步暴露于遞增復(fù)雜任務(wù)的訓練策略。我們提出了課程式強化學習后訓練范式（Curr-ReFT），確保模型能力從基礎(chǔ)任務(wù)到復(fù)雜推理任務(wù)的穩(wěn)步提升。

這一創(chuàng)新方法能夠幫助小型 VLMs 突破性能瓶頸，在保持部署友好性的同時，實現(xiàn)與大規(guī)模模型相媲美的推理能力。

• 論文標題： Boosting the Generalization and Reasoning of Vision Language Models with Curriculum Reinforcement Learning
• 論文鏈接：https://arxiv.org/pdf/2503.07065
• 開源鏈接：
  
• https://github.com/ding523/Curr_REFT（代碼）https://huggingface.co/datasets/ZTE-AIM/Curr-ReFT-data（數(shù)據(jù)）https://huggingface.co/ZTE-AIM/3B-Curr-ReFT（模型權(quán)重）https://huggingface.co/ZTE-AIM/7B-Curr-ReFT（模型權(quán)重）

工作概述 

在中小尺寸多模態(tài)大模型上，我們成功復(fù)現(xiàn)了 R1，并提出了一種創(chuàng)新的后訓練范式 Curr-ReFT。通過結(jié)合課程強化學習和基于拒絕采樣的自我改進方法，我們顯著提升了視覺語言模型（VLM）的推理能力和泛化能力。

理論與實驗分析

• 強化學習的重塑能力：我們證明了基于規(guī)則的強化學習能夠有效重塑多模態(tài)/CV 任務(wù)的訓練方案，從傳統(tǒng)的精調(diào)轉(zhuǎn)向強化精調(diào)。
• 提升推理與泛化能力：實驗結(jié)果顯示，強化學習方法顯著提升了 VLM 在分布外數(shù)據(jù)上的表現(xiàn)。

創(chuàng)新框架

• Curr-ReFT：我們提出了一種新型后訓練范式，結(jié)合課程強化學習和自我改進策略。在 Qwen2.5-VL-3B 和 Qwen2.5-VL-7B 模型中驗證了其有效性。

全面評估 

在多個自建數(shù)據(jù)集和權(quán)威基準測試上進行對比實驗，驗證了模型的通用表現(xiàn)，結(jié)果表明 7B 模型甚至超越了最新的 InternVL2.5-26B 和 38B 模型。

具體方法

圖 2. 所提出的 Curr-ReFT 后訓練范式整體框架。Curr-ReFT 包含兩個連續(xù)的訓練階段：1.課程強化學習：通過與任務(wù)復(fù)雜度匹配的獎勵機制，逐步提升任務(wù)難度。2.基于拒絕采樣的自我改進：維持 LLM 模型的基礎(chǔ)能力。

Curr-ReFT 包含兩個連續(xù)的訓練階段：

• 課程強化學習：通過難度感知的獎勵設(shè)計確保模型能力的穩(wěn)步提升，從基礎(chǔ)的視覺感知逐步過渡到復(fù)雜的推理任務(wù)。
• 基于拒絕采樣的自我改進：通過從高質(zhì)量的多模態(tài)和語言樣本中進行選擇性學習，維持 VLMs 的基礎(chǔ)能力。

圖 3. 訓練數(shù)據(jù)組織架構(gòu)圖。 (a) 課程強化學習的三階段漸進式響應(yīng)格式示例。展示了任務(wù)從簡單到困難的遞進過程，呈現(xiàn)不同階段的響應(yīng)格式變化。 (b) 拒絕采樣 SFT 階段使用的數(shù)據(jù)來源分布。

Stage1：課程強化學習（Curriculum Reinforcement Learning） 

課程學習（Curriculum Learning，CL）作為一種教學式訓練策略，其核心思想是讓模型循序漸進地接觸復(fù)雜度遞增的任務(wù)。

針對強化學習中普遍存在的訓練不穩(wěn)定性和收斂性問題，我們創(chuàng)新性地將課程學習與 GRPO 相結(jié)合，突破了傳統(tǒng)基于樣本難度評估的局限，轉(zhuǎn)而關(guān)注任務(wù)層面的漸進式學習。

本研究的關(guān)鍵創(chuàng)新點在于設(shè)計了難度感知的獎勵機制，該機制與任務(wù)的自然進階路徑相匹配，具體包括三個遞進階段：

• 二元決策階段（Binary Decision）
• 多項選擇階段（Multiple Choice）
• 開放式回答階段（Open-ended Response）

這一課程強化學習（Curr-RL）框架通過精確校準任務(wù)復(fù)雜度對應(yīng)的獎勵機制，成功實現(xiàn)了視覺感知和數(shù)學推理任務(wù)的穩(wěn)定優(yōu)化過程。

Stage2：拒絕采樣自我增強（Rejected Sample based Self-improvement） 

數(shù)據(jù)準備過程涉及對綜合數(shù)據(jù)集的系統(tǒng)采樣。我們使用 GPT-4-O 作為獎勵模型，從多個維度評估生成的響應(yīng)，評估標準包括：準確性、邏輯一致性、格式規(guī)范性、語言流暢度。

所有響應(yīng)在 0-100 分范圍內(nèi)進行量化評估。得分超過 85 分的響應(yīng)及其對應(yīng)的問題會被納入增強數(shù)據(jù)集。最終整理的數(shù)據(jù)集包含 1,520 個高質(zhì)量樣本，涵蓋多個領(lǐng)域：數(shù)學、科學、通用場景的通用知識。數(shù)據(jù)分布如下：

1、數(shù)學領(lǐng)域（共 700 條數(shù)據(jù)）：

• 多模態(tài)數(shù)據(jù)（300 條）：

• Geometry3K_MathV360K（100 條）
• Geo170k_qa（100 條）
• Geomverse（100 條）

• 純文本數(shù)據(jù)：

• SK1.1 數(shù)學題（400 條）

2、科學領(lǐng)域（共 320 條數(shù)據(jù)）：

• 多模態(tài)數(shù)據(jù)（220 條）：

• Scienceqa_cauldron（100 條）
• Scienceqa_nona_context（120 條）

• 純文本數(shù)據(jù)：

• SK1.1 科學題（100 條）

3、通識領(lǐng)域（共 500 條多模態(tài)數(shù)據(jù)）：

• Illava_cot_100k（300 條）
• Visual7w（100 條）
• VSR（100 條）

實驗結(jié)果 

為了驗證我們的模型在多模態(tài)數(shù)學推理任務(wù)中的表現(xiàn)，我們進行了廣泛的實驗，并在多個基準數(shù)據(jù)集上進行了測試。以下是實驗部分的詳細介紹：

實驗設(shè)置 

1、 Visual Datasets 

我們構(gòu)建了一個全面的評估框架，涵蓋視覺檢測、視覺分類和多模態(tài)數(shù)學推理三個主要任務(wù)，以評估強化學習對視覺語言模型的有效性和泛化能力。

• 視覺檢測：使用 RefCOCO 和 RefGta 數(shù)據(jù)集。
• 視覺分類：采用 RefCOCO、RefCOCOg 和 Pascal-VOC 數(shù)據(jù)集。
• 多模態(tài)數(shù)學推理：結(jié)合 Math360K、Geo170K 和 CLEVER-70k-Counting 數(shù)據(jù)集。

2、Benchmarks 

我們在多個權(quán)威基準數(shù)據(jù)集上評估了模型的表現(xiàn)，包括：

• MathVisa：綜合數(shù)學基準。
• MATH：高中競賽級別數(shù)學問題。
• AI2D：小學科學圖表及相關(guān)問題。
• MMVet 和 MMBench：復(fù)雜推理和多模態(tài)能力評估。

 實驗結(jié)果

我們展示了使用課程強化微調(diào)（Curr-ReFT）訓練的模型在多模態(tài)任務(wù)上的顯著性能提升，特別是在跨領(lǐng)域泛化能力和復(fù)雜推理任務(wù)方面。

與傳統(tǒng)的監(jiān)督微調(diào)（SFT）方法相比，我們的方法不僅提高了準確率，還增強了模型處理未見過的數(shù)據(jù)的能力。以下表格展示了不同訓練方法在域內(nèi)和域外數(shù)據(jù)集上的性能對比。具體包括傳統(tǒng)監(jiān)督微調(diào)（SFT）和強化學習（RL）兩種方法：

通過這些實驗結(jié)果可以看出，強化學習訓練（RL）方法在提高模型的域內(nèi)和域外表現(xiàn)方面具有顯著優(yōu)勢，尤其是在處理未見過的數(shù)據(jù)時，能夠保持較高的準確率。

Visual Datasets 上不同方法模型的測試結(jié)果如下：

為了驗證 Curr-ReFT 的泛化性以及使用后不會削弱模型在其他領(lǐng)域的推理能力，我們在多模態(tài)領(lǐng)域多個 Benchmark 數(shù)據(jù)集上進行驗證。Benchmarks 上不同方法模型的測試結(jié)果如下（評測集裁判模型使用 GPT-3.5）：

總結(jié) 

本研究聚焦于提升小規(guī)模視覺-語言模型（VLMs）在推理能力和域外（OOD）泛化性能兩個關(guān)鍵方面的表現(xiàn)。通過實證研究，我們發(fā)現(xiàn)強化學習不僅能有效提升模型的推理能力，更在視覺任務(wù)中展現(xiàn)出超出預(yù)期的泛化性能提升。

基于這一重要發(fā)現(xiàn)，我們提出了創(chuàng)新性的課程式強化學習微調(diào)（Curr-ReFT）后訓練范式。該方法巧妙地融合了漸進式課程學習與拒絕采樣策略。Curr-ReFT 通過兩個關(guān)鍵機制：

• 任務(wù)復(fù)雜度的漸進式提升
• 高質(zhì)量樣本的選擇性學習 成功實現(xiàn)了模型性能的顯著提升。