Code：??https://github.com/ModalMinds/MM-EUREKA??? 

Model：??https://huggingface.co/FanqingM/MM-Eureka-Zero-38B  ???

??https://huggingface.co/FanqingM/MM-Eureka-8B??Dataset：

??https://huggingface.co/datasets/FanqingM/MM-Eureka-Dataset??

Why We DO？

目前的研究大多未能在多模態(tài)環(huán)境中復現(xiàn)DeepSeek-R1的關鍵特性，如回答長度的穩(wěn)定增長和準確率獎勵。例如，R1-V僅在簡單計數(shù)任務上有所改進，但未能復現(xiàn)回答長度增長和"頓悟時刻"；R1-Multimodal-Journey探索了幾何問題，但隨著訓練進行，回答長度反而下降；LMM-R1雖然在準確率獎勵和回答長度方面取得了進步，但這種成功尚未在大規(guī)模圖文數(shù)據訓練中得到驗證。雖然Kimi1.5在多模態(tài)推理中取得了有競爭力的結果，但它并未向社區(qū)開源其模型或訓練數(shù)據。

What We do？

開源框架：我們基于OpenRLHF構建了一個可擴展的多模態(tài)大規(guī)模強化學習框架，支持包括InternVL在內的多種模型和多種RL算法。與R1-V等框架相比，我們的框架具有更強的可擴展性，成功訓練了InternVL2.5-38B等大型模型

穩(wěn)定的訓練：MM-Eureka-8B基于InternVL2.5-Instruct-8B開發(fā)，MM-Eureka-Zero-38B基于InternVL2.5-Pretrained-38B開發(fā)。兩者均可以復現(xiàn)出穩(wěn)定的accuracy reward以及response length增長，并且具備visual aha-moment！

驚人的數(shù)據效率：僅使用54K圖文數(shù)據進行規(guī)則型RL訓練，平均性能超過使用1M數(shù)據的MPO模型；整體基準準確率與使用12M數(shù)據進行CoT SFT訓練的模型相當！ MM-Eureka-Zero僅使用8K圖文數(shù)學推理數(shù)據（僅為指令模型的0.05%），在我們自己構建的K12基準測試上比指令模型高出8.2%，在MathVerse上表現(xiàn)相當

What is Important？

極簡的RL設計足以獲得很好的效果，如果是在instruct model上進行實驗，添加KL散度往往會限制模型的探索，導致無法觀測到response length的提高。

基于難度的數(shù)據過濾策略對于RL訓練穩(wěn)定性及其重要，我們發(fā)現(xiàn)在8B-instruct模型上訓練，如果不進行數(shù)據過濾，RL的訓練將會非常不穩(wěn)定。

What We Find？

模型在RL訓練的過程中同樣會展示出類似DeepSeek-R1的aha-moment。特別得是：除了展示出反思和回溯操作，模型還學會了重新審視圖像中的關鍵信息，我們認為這個是visual aha moment的關鍵特征

What We Wanna Do？

我們在復現(xiàn)過程中進行了許多其他的嘗試，再次我們分享一些我們認為有幫助，但是并沒有work的操作，我們認為這并不代表這些有問題，而是需要進一步地探索。

Curriculum Learning：

得益于我們基于難度劃分數(shù)據，每個數(shù)據都有難度標簽，自然的我們把數(shù)據按難度從低到高進行RL訓練，然而我們發(fā)現(xiàn)這并不能使得性能獲得收益。我們認為這是因為模型在簡單題目上的學習難以直接泛化到難題，如何進行curriculum learning的數(shù)據組織仍然重要。

Online Data Filter：

我們將我們預先基于難度的數(shù)據篩選策略記為Offline Data Filter。這種方案雖然可以幫助RL進行穩(wěn)定訓練，但是其數(shù)據利用率降低了，所以我們希望在模型訓練的過程中動態(tài)進行基于難度的數(shù)據篩選（類似PRIME）。但是我們發(fā)現(xiàn)訓練結果并不如offline data filter穩(wěn)定，我們認為這是因為每次更新時候的數(shù)據量不同，導致梯度不穩(wěn)定。

Model Size：

盡管目前一些工作比如ORZ，SimpleRL在7B level的LLM上也復現(xiàn)了R1的表現(xiàn)，但是我們在多模態(tài)推理場景下，難以通過8B的internvl pretrained進行成功復現(xiàn)。我們認為這受制于多模態(tài)推理數(shù)據質量以及多模態(tài)預訓練數(shù)據中很少存在long cot數(shù)據。

What We Hope？

我們開源了全套數(shù)據（包括我們自助收集的多模態(tài)K12數(shù)據集），代碼，以及模型等。除此之外我們推出一個詳細的技術報告（在我們的repo中），包括我們所有的復現(xiàn)程序以及一些未成功的嘗試。我們希望這可以幫助社區(qū)共同推理多模態(tài)推理發(fā)展。

本文轉自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/5c3q3Z9coOdC_L1t7Nw6wQ??