顯著超越SFT，o1/DeepSeek-R1背后秘訣也能用于多模態(tài)大模型了
o1/DeepSeek-R1背后秘訣也能擴(kuò)展到多模態(tài)了！
舉個例子，提問多模態(tài)大模型：“什么寶可夢可以釋放技能十萬伏特”時，模型通過推理過程準(zhǔn)確找出皮卡丘對應(yīng)的坐標(biāo)框，展示出模型的泛化能力。
這是來自上海交大、上海AI Lab、港中文大學(xué)的研究人員推出的視覺強(qiáng)化微調(diào)開源項目——Visual-RFT (Visual Reinforcement Fine-Tuning)， 只需10~1000條數(shù)據(jù)，就能通過思考過程和基于規(guī)則的監(jiān)督提升多模態(tài)大模型的性能。
具體來說，他們將DeepSeek-R1背后的基于規(guī)則獎勵的強(qiáng)化學(xué)習(xí)方法和OpenAI的強(qiáng)化微調(diào)（Reinforcement Fine-Tuning，RFT）范式，成功從純文本大語言模型拓展到了視覺語言大模型（LVLM）。
通過針對視覺的細(xì)分類、目標(biāo)檢測等任務(wù)設(shè)計對應(yīng)的規(guī)則獎勵，Visual-RFT打破了DeepSeek-R1方法局限于文本、數(shù)學(xué)推理、代碼等少數(shù)領(lǐng)域的認(rèn)知，為視覺語言模型的訓(xùn)練開辟了全新路徑。
下面具體來看。
從R1到Visual-RFT：強(qiáng)化學(xué)習(xí)的多模態(tài)突破
OpenAI o1主打的強(qiáng)化微調(diào)能力（Reinforcement Fine-Tuning）能只用少量樣本就將o1遷移到新的任務(wù)上。
最近DeepSeek-R1解釋了o1模型背后的強(qiáng)推理能力來自基于可驗證獎勵（Verified Rewards）/規(guī)則獎勵（Rule-based Verifier）的強(qiáng)化學(xué)習(xí)策略。
不過，目前主流的認(rèn)知在于這種基于規(guī)則獎勵的方法只適用于數(shù)學(xué)推理、代碼等少數(shù)便于驗證的任務(wù)。
而在Visual-RFT中，研究人員將這一策略遷移到了視覺語言模型。
通過對細(xì)分類、目標(biāo)檢測等任務(wù)建立對應(yīng)的可驗證規(guī)則獎勵，研究解決了傳統(tǒng)方法在視覺領(lǐng)域中的局限性，只需少量微調(diào)樣本就實現(xiàn)了更高效、泛化性更強(qiáng)的視覺理解與推理能力。
傳統(tǒng)的視覺指令微調(diào)（Visual Instruction Tuning/Supervised Fine-Tuning，SFT）需要海量數(shù)據(jù)對模型微調(diào)，在數(shù)據(jù)量有限（例如某些難以收集數(shù)據(jù)的特定學(xué)科場景）的情況下帶來的提升有限。
與之不同，新研究提出的視覺強(qiáng)化微調(diào)（Visual Reinforcement Fine-Tuning）具有少樣本學(xué)習(xí)能力和更強(qiáng)的泛化性，在數(shù)據(jù)量有限的場景下相比指令微調(diào)具有很大的優(yōu)勢。
為驗證Visual-RFT（視覺強(qiáng)化微調(diào)）的的泛化能力和普適性，力求對視覺領(lǐng)域的全面覆蓋，研究人員在多個視覺感知任務(wù)上對Visual-RFT進(jìn)行驗證，包含Detection，Classification，Grounding等。
其中，Visual-RFT在open vocabulary，few-shot learning等設(shè)定下，僅僅通過非常少量的數(shù)據(jù)就取得了顯著的性能提升，輕松實現(xiàn)能力的遷移，且結(jié)果明顯優(yōu)于SFT的微調(diào)方法。
在Reasoning Grounding（推理定位）的測試中，Visual-RFT展現(xiàn)出強(qiáng)大的視覺推理能力。
評測結(jié)果如下圖所示：
為了在視覺多模態(tài)領(lǐng)域驗證可驗證獎勵的作用，研究人員提出了使用基于IoU的verified reward獎勵應(yīng)用于detection和grounding等任務(wù)，使用基于分類正確判斷的cls reward用于classification任務(wù)。
部分推理定位結(jié)果顯示，通過引入思考過程和強(qiáng)化學(xué)習(xí)策略，Visual-RFT（多模態(tài)強(qiáng)化微調(diào)）顯著超越SFT，更加準(zhǔn)確地定位物體。
如詢問模型，圖中的運(yùn)動員在水下依然保持清晰的視野需要帶什么物體時候，通過傳統(tǒng)指令微調(diào)的方法模型直接將整個運(yùn)動員框出。
而Visual-RFT通過引入推理過程準(zhǔn)確地指出防水眼睛及其所在的位置并準(zhǔn)確框出。
部分推理細(xì)粒度分類結(jié)果也展示了相同結(jié)論。
小結(jié)一下，相比于傳統(tǒng)的視覺指令微調(diào)（Visual Instruction/Supervised Fine-Tuning），Visual-RFT（視覺強(qiáng)化微調(diào)）通過強(qiáng)化學(xué)習(xí)方法，對問題進(jìn)行深入的think分析取得更佳推理性能，相較于傳統(tǒng)的指令微調(diào)（SFT）方法取得顯著提升。
Visual-RFT實驗結(jié)果
Visual-RFT（視覺強(qiáng)化微調(diào)）在各大圖文感知任務(wù)中均展現(xiàn)出強(qiáng)大的性能。
實驗主要基于視覺語言大模型基座QWen2-VL 2B/7B模型，和傳統(tǒng)的監(jiān)督微調(diào)（Supervised Fine-Tuning）方法進(jìn)行對比。
在開放目標(biāo)檢測、少樣本檢測、細(xì)粒度分類和推理定位任務(wù)上，Visual-RFT相比SFT全面實現(xiàn)了性能提升。
值得一提的是，該研究的測試數(shù)據(jù)既包含COCO、LVIS等通用場景，又包含從互聯(lián)網(wǎng)中收集的卡通人物等開放場景數(shù)據(jù)。只需要幾十條數(shù)據(jù)，模型通過Visual-RFT可以學(xué)會檢測某動漫中的史萊姆形象。
實驗結(jié)果廣泛驗證了Visual-RFT的卓越性能和魯棒性。
目前，包含訓(xùn)練、評測代碼，數(shù)據(jù)在內(nèi)，Visual-RFT項目已全面開源。
