第一作者謝云飛是萊斯大學(xué)博士生，導(dǎo)師為通訊作者魏晨教授，研究方向包括多模態(tài)生成與理解。

Project Leader 肖俊飛是約翰斯?霍普金斯大學(xué)博士生，導(dǎo)師為 Bloomberg Distinguished Professor Alan Yuille。

第二作者馬崟淞是約翰斯?霍普金斯大學(xué)博士生。

第三作者蘭石懿是英偉達(dá) Research Scientist。

最近，強化學(xué)習(xí)領(lǐng)域出現(xiàn)了一個顛覆性發(fā)現(xiàn)：研究人員不再需要大量數(shù)學(xué)訓(xùn)練樣本，僅僅讓 AI 玩簡單游戲，就能顯著提升其數(shù)學(xué)推理能力。

此前已有研究發(fā)現(xiàn)，即使不提供標(biāo)準(zhǔn)答案，僅用數(shù)學(xué)問題進(jìn)行強化學(xué)習(xí)也能提高模型性能，這讓人們開始重新思考強化學(xué)習(xí)的訓(xùn)練方式。而來自萊斯大學(xué)、約翰斯?霍普金斯大學(xué)和英偉達(dá)的研究團隊更進(jìn)一步：他們讓多模態(tài)大語言模型 (MLLM) 玩貪吃蛇等簡單游戲，無需任何數(shù)學(xué)或多學(xué)科訓(xùn)練數(shù)據(jù)，就顯著提升了模型的多模態(tài)推理能力。研究團隊提出了 ViGaL (Visual Game Learning) 方法，在多個主流視覺數(shù)學(xué)基準(zhǔn)測試和 MMMU 系列基準(zhǔn)測試中，超越此前在數(shù)學(xué)等領(lǐng)域內(nèi)數(shù)據(jù)上訓(xùn)練的強化學(xué)習(xí)模型。

• 論文標(biāo)題：Play to Generalize: Learning to Reason Through Game Play
• 論文鏈接：https://arxiv.org/abs/2506.08011
• 項目主頁：https://yunfeixie233.github.io/ViGaL/

不用數(shù)學(xué)樣本，游戲訓(xùn)練在數(shù)學(xué)基準(zhǔn)取得突破

近期研究表明，相比監(jiān)督微調(diào)（SFT），強化學(xué)習(xí)（RL）往往能實現(xiàn)更強的 “舉一反三” 的跨領(lǐng)域泛化能力。以往的工作已經(jīng)證明，在數(shù)學(xué)問題訓(xùn)練的模型能夠擴展推理到物理問題，經(jīng)過導(dǎo)航訓(xùn)練的智能體能夠成功適應(yīng)全新環(huán)境。然而，這些成功的泛化案例通常仍局限在單一領(lǐng)域內(nèi)，源任務(wù)與泛化的目標(biāo)任務(wù)依然屬于同一類型。

圖 1: 我們發(fā)現(xiàn)，只在例如貪吃蛇這種游戲上進(jìn)行強化學(xué)習(xí)訓(xùn)練，模型就能涌現(xiàn)出領(lǐng)域外的泛化能力，在數(shù)學(xué)、多學(xué)科等多個任務(wù)上提高性能。

這篇工作的突破在于實現(xiàn)了更強形式的跨域泛化：從游戲領(lǐng)域完全遷移到數(shù)學(xué)推理、空間推理和多學(xué)科推理等領(lǐng)域。研究團隊用 7B 參數(shù)的 Qwen2.5-VL 模型進(jìn)行訓(xùn)練，發(fā)現(xiàn)僅通過強化學(xué)習(xí)訓(xùn)練模型玩貪吃蛇和旋轉(zhuǎn)游戲，就能在多個基準(zhǔn)測試中實現(xiàn)了顯著提升：

• 數(shù)學(xué)推理提升：不用數(shù)學(xué)樣本，僅通過游戲訓(xùn)練，ViGaL 在 MathVista 等數(shù)學(xué)推理基準(zhǔn)上平均提升 2.9%，相比之下，在高質(zhì)量數(shù)學(xué)數(shù)據(jù)集上進(jìn)行強化學(xué)習(xí)的方法僅提升 2.4%。
• 多學(xué)科推理突破：在 MMMU 系列多學(xué)科推理任務(wù)上，ViGaL 超越在多學(xué)科數(shù)據(jù)上進(jìn)行 RL 訓(xùn)練的 R1-OneVision-7B 模型 5.4 個百分點。
• 通用能力保持：經(jīng)過測試，之前的強化學(xué)習(xí)推理模型在提升特定領(lǐng)域性能時，大部分都損害通用視覺能力，但 ViGaL 在保持原有通用性能的同時實現(xiàn)了推理能力的躍升。

圖 2: 不使用數(shù)學(xué)或者多學(xué)科樣本，僅通過游戲訓(xùn)練，模型在數(shù)學(xué)推理基準(zhǔn)上平均提升 2.9%（左圖），在多學(xué)科推理基準(zhǔn)上平均提升 2.0%（右圖），超過此前專門在數(shù)學(xué)或者多學(xué)科數(shù)據(jù)上訓(xùn)練的強化學(xué)習(xí)方法。

為什么游戲訓(xùn)練如此有效？

圖 3: 我們在貪吃蛇游戲和旋轉(zhuǎn)游戲上利用強化學(xué)習(xí)進(jìn)行訓(xùn)練。在每個游戲里面，模型會接收圖片和文本形式的游戲環(huán)境作為輸入，遵循游戲指令進(jìn)行推理，抉擇一個動作在游戲環(huán)境里執(zhí)行。執(zhí)行后會從環(huán)境獲得獎勵 ，用于進(jìn)行強化學(xué)習(xí)。通過在游戲中訓(xùn)練，模型獲得了推理能力，并且能遷移至下游的數(shù)學(xué)和多學(xué)科等任務(wù)。

為什么玩游戲能提升數(shù)學(xué)能力？這個發(fā)現(xiàn)其實并不違背認(rèn)知科學(xué)的基本規(guī)律。

回想一下我們自己的成長過程：小時候通過搭積木學(xué)會了空間概念，通過躲貓貓理解了位置關(guān)系，通過各種益智游戲培養(yǎng)了邏輯思維。兒童正是通過這些看似 "玩耍" 的活動，逐步構(gòu)建起抽象思維的基礎(chǔ) —— 模式識別、空間推理、因果推斷。

認(rèn)知科學(xué)研究也證實了這一點：游戲常被用作探索人類心智的實驗平臺。研究人員通過 "四子連珠" 游戲研究規(guī)劃能力，通過 "虛擬工具" 游戲探索問題解決的認(rèn)知機制。

基于這樣的理論啟發(fā)，研究團隊巧妙地設(shè)計了兩款互補的訓(xùn)練游戲：

貪吃蛇游戲：這是一個經(jīng)典的策略決策游戲。在 10×10 的網(wǎng)格上，模型需要控制蛇的移動，避免撞墻、撞到自己或?qū)κ?，同時盡可能多地收集蘋果。游戲培養(yǎng)的核心能力包括路徑規(guī)劃、避障決策和空間導(dǎo)航，這些技能直接對應(yīng)數(shù)學(xué)中的坐標(biāo)幾何和函數(shù)圖像理解。

旋轉(zhuǎn)游戲：這是研究團隊自主設(shè)計的 3D 空間推理游戲。模型需要觀察同一 3D 物體的兩個視角 —— 初始視角和旋轉(zhuǎn)后視角，判斷物體旋轉(zhuǎn)了 90 度還是 180 度。這個游戲?qū)ｉT訓(xùn)練空間幾何理解能力，直接對應(yīng)角度和長度相關(guān)的數(shù)學(xué)推理問題。

兩款游戲的設(shè)計哲學(xué)互補：貪吃蛇主要提升 2D 坐標(biāo)相關(guān)的數(shù)學(xué)表現(xiàn)，旋轉(zhuǎn)游戲則更適合角度和長度推理。實驗證實，聯(lián)合訓(xùn)練兩款游戲比單獨訓(xùn)練效果更佳，展現(xiàn)了游戲多樣性的可擴展?jié)摿Α?/span>

結(jié)語：合成任務(wù)的新時代

ViGaL 的成功揭示了一個潛在的新趨勢：當(dāng)高質(zhì)量人類數(shù)據(jù)枯竭，簡單任務(wù)性能飽和的時候，精心設(shè)計的游戲，作為一種合成任務(wù)，可能為多模態(tài)推理能力的發(fā)展開辟新道路。

與傳統(tǒng)的直接訓(xùn)練方法相比，這種游戲化的訓(xùn)練范式展現(xiàn)出獨特的優(yōu)勢：

• 成本極低：無需人工標(biāo)注，可無限擴展
• 效果顯著：零數(shù)學(xué)樣本超越數(shù)學(xué)專訓(xùn)模型
• 拓展性強：可以組合多個任務(wù)進(jìn)一步提升性能
• 通用性好：不會造成 "偏科" 問題，保持模型的全面能力

更重要的是，ViGaL 可能揭示了一個樸素但深刻的道理：在直接學(xué)習(xí)目標(biāo)任務(wù)之外，培養(yǎng)底層的通用推理能力，也許同樣有助于模型性能的提升。就像我們不只是通過死記硬背數(shù)學(xué)公式來培養(yǎng)數(shù)學(xué)思維，而是通過各種思維訓(xùn)練來發(fā)展抽象推理能力一樣。

在 Scaling Law 可能逐漸面臨困境的今天，ViGaL 用一個簡單而優(yōu)雅的想法提醒我們：有時候，讓 AI"玩游戲" 可能比讓它 "刷題" 更有效。