Meta超級智能實驗室（MSL）又被送上爭議的風口浪尖了。

不過，這次不是人事風波，而是他們的第二篇論文《Language Self-Play For Data-Free Training》被質(zhì)疑忽視前人研究、缺乏創(chuàng)新。

圖片

究竟是啥論文？

讓模型在博弈中學習

總的來說，MSL這篇新論文的核心思想是通過一種Language Self-Play（LSP)的方法，讓大型語言模型在沒有額外訓練數(shù)據(jù)的情況下實現(xiàn)自我提升。

這一方法旨在應(yīng)對當前大語言模型高度依賴大規(guī)模、高質(zhì)量訓練數(shù)據(jù)，且訓練數(shù)據(jù)有限所帶來的困境。

為此，LSP將模型的學習過程設(shè)計成一個博弈框架，讓同一個語言模型扮演兩個角色進行對抗，從而實現(xiàn)無數(shù)據(jù)訓練。

圖片

具體來說，這兩個角色分別是：

• 挑戰(zhàn)者：負責生成越來越有挑戰(zhàn)性的問題或指令。
• 解決者：負責回答或執(zhí)行這些指令。

在對抗過程中，挑戰(zhàn)者不斷生成越來越刁鉆的問題或指令，以降低解決者的預期回報；而解決者則必須努力理解并回答這些指令，以最大化自身回報——這其實就是我們熟悉的極小極大博弈（minimax game）。

圖片

通過這樣的對抗訓練，模型能夠在不斷博弈中持續(xù)改進，逐步提升能力。

此外，與傳統(tǒng)對抗訓練不同，LSP讓單個語言模型同時扮演“挑戰(zhàn)者”和“解決者”兩個角色，研究人員給模型設(shè)計了一個特殊的“挑戰(zhàn)者提示”（Challenger Prompt）：當接收到該提示時，模型進入挑戰(zhàn)者模式，生成難題；否則，它就扮演解決者角色，回答問題。

這種單一模型的設(shè)計避免了訓練獨立對抗模型所帶來的額外開銷和不穩(wěn)定性。整個過程完全自主，模型在自我對抗中不斷迭代，從而在沒有外部數(shù)據(jù)輸入的情況下提升自身能力。

為了將這個博弈轉(zhuǎn)化成模型強化學習的過程，研究中采用了GRPO技巧，讓模型在每輪訓練中進行如下操作：

• 挑戰(zhàn)者生成問題：每輪生成N個問題。
• 解決者回答問題：對于每個問題，解決者生成一定數(shù)量的答案，并分別計算獎勵。
• 計算組價值與優(yōu)勢：把解決者對同一個問題的所有答案的獎勵進行平均，得到這個問題整體的難度或表現(xiàn)水平。然后用每個答案的實際獎勵減去組價值，判斷這個答案比平均水平高還是低。 - 更新挑戰(zhàn)者優(yōu)勢：通過計算優(yōu)勢函數(shù)獲得問題和答案的反饋，優(yōu)化自己出題的策略。

圖片

通過這種獎勵機制，挑戰(zhàn)者生成的問題會針對解決者的薄弱環(huán)節(jié)，從而推動模型不斷改進。

研究將這一方法稱為Language Self-Play Zero（LSP-Zero），其中 Zero 表示零和。

此外，在實踐中，研究者發(fā)現(xiàn)LSP-Zero有時會退化，例如模型為了獲取獎勵而生成無意義但能獲得高分的內(nèi)容（即獎勵 hacking）。

針對解決這個問題，他們在LSP算法中引入了“自我質(zhì)量獎勵” (RQ)，引導博弈朝高質(zhì)量交互發(fā)展，使訓練可長期進行。

（注：LSP的具體算法如下表）

圖片

最后，為了驗證LSP算法的有效性，研究者使用Llama-3.2-3B-Instruct模型在Alpaca Eval基準上進行了兩組實驗。

實驗一將算法與基礎(chǔ)模型本身以及一個通過傳統(tǒng)強化學習微調(diào)的大語言模型進行比較。

實驗結(jié)果顯示，沒有使用任何數(shù)據(jù)的LSP和LSP-Zero和使用了數(shù)據(jù)的GRPO相當，并且顯著優(yōu)于原始模型。而在 Vicuna這類對話型和開放式指令的數(shù)據(jù)集上，LSP 的表現(xiàn)遠超GRPO。

圖片

實驗二以實驗一中通過數(shù)據(jù)驅(qū)動 RL（GRPO）訓練得到的模型為起點，進一步使用 LSP-Zero 和 LSP 進行訓練，計算這些模型相對于Llama-3.2-3B-Instruct的勝率，并與初始的 RL 模型進行對比。

實驗顯示，經(jīng)過LSP的進一步訓練后，模型的整體勝率從40.9%顯著提升到了43.1%。

同樣的，LSP在Vicuna數(shù)據(jù)集上的提升尤為明顯。這表明 LSP 可以作為一種有效的方法，在數(shù)據(jù)驅(qū)動的訓練之后繼續(xù)挖掘模型潛力。

圖片

總的來說，實驗結(jié)果表明，LSP-Zero和LSP算法能夠在無需訓練數(shù)據(jù)的情況下提升預訓練LLM的性能，尤其是在對話類任務(wù)上表現(xiàn)顯著，而這可能意味著AI正在從依賴人類數(shù)據(jù)過渡到自主學習系統(tǒng)。

網(wǎng)友：感覺忽略了大量前人研究？

雖然（……）但是，LSP一經(jīng)發(fā)布后，在網(wǎng)友們這倒是出了些小插曲。

一位推特網(wǎng)友直言：LSP自稱是突破性工作，但實際上忽視了大量前人研究，還順帶翻了一些舊賬。

抱歉了，Meta“超級智能”實驗室，但 @_AndrewZhao 等人的工作做得更好，而你們卻沒有引用。其實很多人都做過類似研究（比如 @Benjamin_eecs），無論是聯(lián)合最大化還是極小極大，不管是驗證器還是獎勵模型。為什么要把這說成是突破呢？你們在Vicuna上的評測確實做得不錯，簡直是2023年LLaMA社區(qū)的典型操作。

圖片

而且，就連失敗的模型也大同小異。

圖片

評論區(qū)有網(wǎng)友表示這可能是一篇老工作，然后拿到MSL發(fā)的：

圖片

（注：網(wǎng)友提及的論文如下：[1]Absolute Zero: Reinforced Self-play Reasoning with Zero Data[2]SPIRAL: Self-Play on Zero-Sum Games Incentivizes Reasoning via Multi-Agent Multi-Turn Reinforcement Learning[3]Scalable Reinforcement Post-Training Beyond Static Human Prompts）

截至目前，MSL及論文作者尚未對此作出回應(yīng)。

參考鏈接

[1]https://x.com/teortaxesTex/status/1965654111069876296

[2]https://x.com/_akhaliq/status/1965601392187638018

[3]https://x.com/tydsh/status/1965856666580361705

[4]https://arxiv.org/pdf/2404.10642

[5]https://arxiv.org/pdf/2411.00062

[6]https://arxiv.org/pdf/2505.03335