3 月 11 日消息，隨著 DeepSeek R1 的推出，強(qiáng)化學(xué)習(xí)在大模型領(lǐng)域的潛力被進(jìn)一步挖掘。Reinforcement Learning with Verifiable Reward（RLVR）方法的出現(xiàn)，為多模態(tài)任務(wù)提供了全新的優(yōu)化思路，無論是幾何推理、視覺計(jì)數(shù)，還是經(jīng)典圖像分類和物體檢測(cè)任務(wù)，RLVR 都展現(xiàn)出了顯著優(yōu)于傳統(tǒng)監(jiān)督微調(diào)（SFT）的效果。

然而，現(xiàn)有研究多聚焦于 Image-Text 多模態(tài)任務(wù)，尚未涉足更復(fù)雜的全模態(tài)場景。基于此，通義實(shí)驗(yàn)室團(tuán)隊(duì)探索了 RLVR 與視頻全模態(tài)模型的結(jié)合，于今日宣布開源 R1-Omni 模型。

R1-Omni 的一大亮點(diǎn)在于其透明性（推理能力）。通過 RLVR 方法，音頻信息和視頻信息在模型中的作用變得更加清晰可見。

比如，在情緒識(shí)別任務(wù)中，R1-Omni 能夠明確展示哪些模態(tài)信息對(duì)特定情緒的判斷起到了關(guān)鍵作用。

為了驗(yàn)證 R1-Omni 的性能，通義實(shí)驗(yàn)室團(tuán)隊(duì)將其與原始的 HumanOmni-0.5B 模型、冷啟動(dòng)階段的模型以及在 MAFW 和 DFEW 數(shù)據(jù)集上有監(jiān)督微調(diào)的模型進(jìn)行了對(duì)比。

實(shí)驗(yàn)結(jié)果顯示，在同分布測(cè)試集（DFEW 和 MAFW）上，R1-Omni 相較于原始基線模型平均提升超過 35%，相較于 SFT 模型在 UAR 上的提升高達(dá) 10% 以上。在不同分布測(cè)試集（RAVDESS）上，R1-Omni 同樣展現(xiàn)了卓越的泛化能力，WAR 和 UAR 均提升超過 13%。這些結(jié)果充分證明了 RLVR 在提升推理能力和泛化性能上的顯著優(yōu)勢(shì)。

IT之家附 R1-Omni 開源地址：

• 論文：https://arxiv.org/abs/2503.05379
• Github：https://github.com/HumanMLLM/R1-Omni
• 模型：https://www.modelscope.cn/models/iic/R1-Omni-0.5B