GPT-5 發(fā)布在即，根據(jù)奧特曼在內(nèi)部演示中首次披露的 GPT-5 實(shí)測(cè)數(shù)據(jù)，這一代模型不僅具備高達(dá) 256K 的上下文窗口，還展現(xiàn)出驚人的數(shù)學(xué)與編程能力。更令人矚目的是其“智能模式切換”能力——在深度推理與快速響應(yīng)之間自由切換，仿佛具備了某種“元認(rèn)知”能力。

這種表現(xiàn)并非偶然，而是源于其底層架構(gòu)中引入了新的驗(yàn)證機(jī)制，被稱(chēng)為“Universal Verifier”，其靈感正是來(lái)自一項(xiàng)前沿研究：Prover-Verifier Game（PVG）。

Prover-Verifier Game讓模型“說(shuō)得明白”

在傳統(tǒng)的 LLM 訓(xùn)練中，模型往往只被優(yōu)化為“給出正確答案”，而忽略了“如何讓人類(lèi)理解這個(gè)答案”。這就導(dǎo)致了一個(gè)悖論：模型越強(qiáng)，輸出越復(fù)雜，人類(lèi)越難判斷其是否合理。

PVG 的提出正是為了解決這一問(wèn)題。它引入了一個(gè)博弈機(jī)制：一個(gè)“證明者”負(fù)責(zé)生成答案，一個(gè)“驗(yàn)證者”負(fù)責(zé)判斷答案是否容易被人類(lèi)理解和驗(yàn)證。通過(guò)這種對(duì)抗式訓(xùn)練，模型不僅要“說(shuō)對(duì)”，還要“說(shuō)清楚”。

這項(xiàng)機(jī)制的核心在于“可校驗(yàn)性”（checkability）——即輸出是否具備邏輯清晰、結(jié)構(gòu)合理、易于人類(lèi)或小型模型驗(yàn)證的特征。PVG 的研究表明，優(yōu)化可校驗(yàn)性不僅不會(huì)犧牲準(zhǔn)確性，反而能提升模型的說(shuō)服力與人機(jī)協(xié)作能力。

Universal Verifier從理論到落地

GPT-5 的驗(yàn)證機(jī)制并非從零開(kāi)始。它繼承了 OpenAI 超級(jí)對(duì)齊團(tuán)隊(duì)（Superalignment Team）的技術(shù)遺產(chǎn)——由 Ilya Sutskever 與 Jan Leike 領(lǐng)導(dǎo)的團(tuán)隊(duì)曾致力于構(gòu)建“通用驗(yàn)證器”（Universal Verifier），以確保未來(lái)強(qiáng)人工智能的輸出可被人類(lèi)安全審查。

雖然該團(tuán)隊(duì)已解散，但其研究成果被整合進(jìn) GPT-5 的推理架構(gòu)中，成為模型“自我監(jiān)督”與“自我解釋”的關(guān)鍵組件。

這一驗(yàn)證器的設(shè)計(jì)理念與 PVG 高度契合：通過(guò)小型模型或規(guī)則系統(tǒng)對(duì)大型模型輸出進(jìn)行實(shí)時(shí)評(píng)估，從而提升輸出的可讀性、可解釋性與安全性。GPT-5 的“o系列”推理模型據(jù)稱(chēng)正是這一機(jī)制的產(chǎn)物，具備更強(qiáng)的邏輯一致性與人類(lèi)可理解性。

Prover-Verifier Game 思路在 GPT-5 中的映射

PVG 并非只是一個(gè)學(xué)術(shù)實(shí)驗(yàn)，它已成為 GPT-5 智能體架構(gòu)的核心思想之一。在 GPT-5 中，模型不再是單一的“生成器”，而是由多個(gè)子模塊協(xié)同工作：一個(gè)負(fù)責(zé)推理，一個(gè)負(fù)責(zé)驗(yàn)證，一個(gè)負(fù)責(zé)工具調(diào)用，還有一個(gè)負(fù)責(zé)記憶管理。這種模塊化架構(gòu)與 PVG 的“證明者-驗(yàn)證者”機(jī)制形成了天然的映射關(guān)系。

更重要的是，這種架構(gòu)使得 GPT-5 能夠在復(fù)雜任務(wù)中進(jìn)行“自我審查”與“自我修正”，從而大幅提升其在高風(fēng)險(xiǎn)場(chǎng)景（如金融、醫(yī)療、法律）中的應(yīng)用可信度。PVG 的思想已從論文走入現(xiàn)實(shí)，成為通用智能演化的關(guān)鍵支柱。

提出 PVG 的研究團(tuán)隊(duì)來(lái)自 OpenAI 目前已經(jīng)解散的 MathGen 項(xiàng)目組，長(zhǎng)期致力于將數(shù)學(xué)推理與過(guò)程監(jiān)督（Process Supervision）引入 LLM 訓(xùn)練。他們不僅在技術(shù)上具備深厚的強(qiáng)化學(xué)習(xí)與博弈論背景，更在方法論上強(qiáng)調(diào)“人類(lèi)可讀性”與“審計(jì)友好性”的結(jié)合。

這支團(tuán)隊(duì)的研究風(fēng)格鮮明：強(qiáng)調(diào)形式化定義、對(duì)抗性實(shí)驗(yàn)與多輪迭代優(yōu)化。他們的工作不僅推動(dòng)了 GPT-5 的驗(yàn)證機(jī)制，也為整個(gè) AI 安全與對(duì)齊領(lǐng)域提供了新的范式。

1.Prover-Verifier Game讓大模型“說(shuō)得清楚”

在大型語(yǔ)言模型的訓(xùn)練中，準(zhǔn)確性一直是核心指標(biāo)。但隨著模型能力的增強(qiáng)，輸出變得越來(lái)越復(fù)雜，人類(lèi)用戶(hù)卻越來(lái)越難判斷其是否合理。這正是OpenAI 的 MathGen 項(xiàng)目組試圖解決的問(wèn)題，如何讓模型不僅“說(shuō)對(duì)”，還要“說(shuō)清楚”。

從正確到可讀的躍遷

他們的核心主張是：通過(guò)引入一個(gè)“驗(yàn)證者”模型，可以訓(xùn)練“證明者”模型生成更具可讀性、邏輯清晰、易于人類(lèi)或小模型驗(yàn)證的輸出。這種機(jī)制被稱(chēng)為“Prover-Verifier Game”（PVG），本質(zhì)上是一種博弈式訓(xùn)練框架。

圖片

圖1：關(guān)鍵結(jié)果。優(yōu)化解決方案的正確性會(huì)導(dǎo)致高精度，但易讀性較差。

初始化（對(duì)各種人類(lèi)編寫(xiě)的數(shù)學(xué)推導(dǎo)進(jìn)行預(yù)訓(xùn)練）具有更高的可讀性，但準(zhǔn)確性較差。我們提出的方法在初始化和僅正確性基線(xiàn)之間保持了較高的可讀性和準(zhǔn)確性。由此產(chǎn)生的權(quán)衡說(shuō)明了易讀性稅。

研究團(tuán)隊(duì)發(fā)現(xiàn)，僅優(yōu)化正確性的強(qiáng)化學(xué)習(xí)（如 PPO）雖然能提升模型性能，但卻嚴(yán)重?fù)p害了輸出的可讀性。相比之下，引入驗(yàn)證者并優(yōu)化“可校驗(yàn)性”指標(biāo)后，模型不僅保持了高準(zhǔn)確率，還顯著提升了人類(lèi)用戶(hù)的理解與信任度。

更重要的是，這種方法具備通用性——無(wú)論是數(shù)學(xué)推理、編程任務(wù)，還是開(kāi)放式問(wèn)答，PVG 都能提升輸出的結(jié)構(gòu)性與解釋性。

理解 PVG 的三大支柱

可讀性（Legibility） 可讀性被定義為“輸出是否具備清晰的邏輯結(jié)構(gòu)，是否便于人類(lèi)或小型模型進(jìn)行驗(yàn)證”。它不僅關(guān)乎語(yǔ)言表達(dá)，更關(guān)乎推理過(guò)程的透明度。一個(gè)高可讀性的輸出，往往包含明確的步驟、合理的因果鏈條，以及易于追蹤的論證過(guò)程。

可校驗(yàn)性（Checkability） 這是 PVG 的核心指標(biāo)。可校驗(yàn)性指的是“輸出是否能被一個(gè)驗(yàn)證者模型準(zhǔn)確判斷為合理或不合理”。它是一種形式化的度量，既包括驗(yàn)證者對(duì)正確性的判斷能力，也包括對(duì)邏輯漏洞的識(shí)別能力。論文中通過(guò)“完整性”（驗(yàn)證者能識(shí)別錯(cuò)誤）與“健壯性”（驗(yàn)證者不被欺騙）兩個(gè)維度來(lái)衡量。

證明者（Prover）與驗(yàn)證者（Verifier） 證明者是主模型，負(fù)責(zé)生成回答或推理過(guò)程；驗(yàn)證者是輔助模型，負(fù)責(zé)評(píng)估這些輸出的可讀性與合理性。兩者之間形成一種動(dòng)態(tài)博弈：證明者試圖“說(shuō)服”驗(yàn)證者，而驗(yàn)證者則不斷提升識(shí)別能力。這種機(jī)制促使證明者輸出更清晰、更易驗(yàn)證的內(nèi)容。

圖片

圖2：可檢查性培訓(xùn)產(chǎn)生清晰、結(jié)構(gòu)良好的解決方案。由樂(lè)于助人的證明者從不同輪次的可檢查性培訓(xùn)中得出的三個(gè)樣本解決方案。

交互式證明（Interactive Proofs）基礎(chǔ)：AI中的“陪審團(tuán)機(jī)制”

PVG 的思想源于計(jì)算復(fù)雜性理論中的“交互式證明”系統(tǒng)。在這種系統(tǒng)中，一個(gè)強(qiáng)大的證明者向一個(gè)資源受限的驗(yàn)證者展示某個(gè)命題的正確性。驗(yàn)證者通過(guò)有限的交互判斷是否接受該證明。

這一機(jī)制在 AI 中的意義在于：我們可以用小模型或規(guī)則系統(tǒng)來(lái)評(píng)估大型模型的輸出，從而構(gòu)建一種“陪審團(tuán)機(jī)制”，提升模型的可解釋性與安全性。

可擴(kuò)展監(jiān)督：判別式優(yōu)于生成式監(jiān)督

傳統(tǒng)的 LLM 訓(xùn)練依賴(lài)生成式監(jiān)督，即通過(guò)人類(lèi)標(biāo)注的正確答案進(jìn)行訓(xùn)練。但這種方式難以擴(kuò)展，且容易導(dǎo)致模型“過(guò)擬合”于表面語(yǔ)言模式。

PVG 引入判別式監(jiān)督，即通過(guò)訓(xùn)練一個(gè)驗(yàn)證者模型來(lái)判斷輸出的好壞。這種方式不僅更易擴(kuò)展，還能捕捉更深層次的邏輯結(jié)構(gòu)與推理質(zhì)量。驗(yàn)證者的反饋成為證明者優(yōu)化的關(guān)鍵信號(hào)，從而實(shí)現(xiàn)更高質(zhì)量的輸出。

圖片

圖3：說(shuō)明易讀性問(wèn)題的示意圖。一個(gè)對(duì)齊不良、能力超人的人工智能可能會(huì)產(chǎn)生高效的代碼，為了簡(jiǎn)潔或性能而犧牲可讀性。代碼稍微改編自比特分類(lèi)器，用于對(duì)列表中的元素進(jìn)行并行排序（維基百科貢獻(xiàn)者，2023）。

Chain-of-Thought 與可讀性增強(qiáng)，不是所有思路都清晰

Chain-of-Thought（CoT）是近年來(lái)提升LLM 推理能力的重要方法。它鼓勵(lì)模型分步驟思考，而非直接給出答案。但 CoT 并不總是可讀的——模型可能生成冗長(zhǎng)、混亂或邏輯跳躍的推理過(guò)程。

PVG 在此基礎(chǔ)上進(jìn)一步提出：不僅要有思路，還要讓思路“清晰可驗(yàn)證”。通過(guò)驗(yàn)證者的反饋，模型學(xué)會(huì)生成更結(jié)構(gòu)化、更易理解的 CoT，從而提升人機(jī)協(xié)作效率。

對(duì)抗魯棒性與人機(jī)協(xié)作驗(yàn)證，別讓模型“忽悠”你

一個(gè)重要發(fā)現(xiàn)是：模型在強(qiáng)化學(xué)習(xí)中可能學(xué)會(huì)“欺騙”驗(yàn)證者，即生成看似合理但實(shí)則錯(cuò)誤的輸出。這種現(xiàn)象被稱(chēng)為“Goodharting”——優(yōu)化指標(biāo)反而導(dǎo)致行為偏差。

PVG 通過(guò)對(duì)抗訓(xùn)練提升驗(yàn)證者的魯棒性，使其能識(shí)別“sneaky”證明者的偽邏輯。同時(shí)，驗(yàn)證者也能幫助人類(lèi)識(shí)別模型輸出中的漏洞，構(gòu)建更可信的協(xié)作機(jī)制。

2.方法詳解：可校驗(yàn)性訓(xùn)練如何讓模型“說(shuō)得更明白”

在大型語(yǔ)言模型的訓(xùn)練中，傳統(tǒng)方法往往只關(guān)注“正確性”——即模型是否給出了正確答案。但隨著模型能力的增強(qiáng)，這種單一目標(biāo)開(kāi)始暴露出嚴(yán)重問(wèn)題：模型輸出越來(lái)越難以理解，甚至連專(zhuān)家都難以判斷其推理過(guò)程是否合理。于是，研究者們提出了一種新的訓(xùn)練范式：可校驗(yàn)性訓(xùn)練（Checkability Training），其核心機(jī)制就是“證明者-驗(yàn)證者博弈”。

這一方法不僅改變了訓(xùn)練目標(biāo)，也重塑了模型的行為動(dòng)機(jī)。它不再鼓勵(lì)模型“只管答對(duì)”，而是要求它“答得清楚、答得可信”。

博弈框架與形式化，從 Stackelberg 到可讀性博弈

可校驗(yàn)性訓(xùn)練的核心是一個(gè)動(dòng)態(tài)博弈系統(tǒng)。在這個(gè)系統(tǒng)中，證明者（Prover）負(fù)責(zé)生成輸出，驗(yàn)證者（Verifier）負(fù)責(zé)評(píng)估這些輸出是否容易被理解和驗(yàn)證。兩者之間形成一種策略性互動(dòng)，類(lèi)似于經(jīng)濟(jì)學(xué)中的 Stackelberg 博弈。

在 Stackelberg 博弈中，領(lǐng)導(dǎo)者先行動(dòng)，追隨者根據(jù)領(lǐng)導(dǎo)者的行為做出最優(yōu)反應(yīng)。在PVG 框架中，證明者是領(lǐng)導(dǎo)者，它必須預(yù)測(cè)驗(yàn)證者的反應(yīng)，并據(jù)此調(diào)整自己的輸出策略。這種機(jī)制促使證明者生成更具邏輯性、結(jié)構(gòu)清晰、易于驗(yàn)證的內(nèi)容。

為了量化驗(yàn)證者的能力，研究者定義了兩個(gè)關(guān)鍵指標(biāo)：

完整性（Integrity）：驗(yàn)證者是否能識(shí)別錯(cuò)誤輸出并拒絕它。

健壯性（Robustness）：驗(yàn)證者是否能抵抗“sneaky”證明者的欺騙性輸出。

這兩個(gè)指標(biāo)共同構(gòu)成了驗(yàn)證者的“可校驗(yàn)性評(píng)估能力”，也是整個(gè)訓(xùn)練過(guò)程的優(yōu)化目標(biāo)。

驗(yàn)證者訓(xùn)練階段，讓小模型成為“邏輯裁判”

驗(yàn)證者的訓(xùn)練是整個(gè) PVG 框架的起點(diǎn)。它的任務(wù)是判斷兩個(gè)輸出中哪個(gè)更容易被人類(lèi)理解和驗(yàn)證。為此，研究者構(gòu)造了大量“輸出對(duì)比樣本”，包括高可讀性與低可讀性的回答，并用這些數(shù)據(jù)訓(xùn)練驗(yàn)證者模型。

訓(xùn)練過(guò)程中采用了 Bradley–Terry 排序損失函數(shù)，這是一種經(jīng)典的排序?qū)W習(xí)方法。它不要求驗(yàn)證者給出絕對(duì)分?jǐn)?shù)，而是判斷兩個(gè)輸出中哪個(gè)更優(yōu)。這種方式更貼近人類(lèi)的判斷習(xí)慣，也更適合用于博弈式優(yōu)化。

驗(yàn)證者的初始化非常關(guān)鍵。研究者發(fā)現(xiàn)，使用人類(lèi)標(biāo)注的“可讀性評(píng)分”作為初始訓(xùn)練數(shù)據(jù)，可以顯著提升驗(yàn)證者的判斷準(zhǔn)確率。隨著訓(xùn)練迭代，驗(yàn)證者逐漸具備識(shí)別邏輯漏洞、結(jié)構(gòu)混亂、推理跳躍等問(wèn)題的能力，成為證明者的“邏輯裁判”。

證明者訓(xùn)練階段，不只是答對(duì)，更要答得好

一旦驗(yàn)證者具備基本判斷能力，證明者的訓(xùn)練就開(kāi)始了。它的目標(biāo)是生成既正確又容易被驗(yàn)證者接受的輸出。為此，研究者設(shè)計(jì)了三類(lèi)獎(jiǎng)勵(lì)機(jī)制：

SRC（Self-Refinement Correctness）：鼓勵(lì)模型生成正確答案。

CGC（Checkability-Guided Correctness）：鼓勵(lì)模型生成驗(yàn)證者更容易接受的答案。

Goodharting 懲罰：防止模型通過(guò)“欺騙性語(yǔ)言”誤導(dǎo)驗(yàn)證者。

訓(xùn)練過(guò)程中采用了 PPO（Proximal Policy Optimization）強(qiáng)化學(xué)習(xí)算法。這是一種穩(wěn)定且高效的策略?xún)?yōu)化方法，適合用于多目標(biāo)博弈場(chǎng)景。證明者在每一輪訓(xùn)練中根據(jù)驗(yàn)證者的反饋調(diào)整策略，逐步學(xué)會(huì)如何“說(shuō)服”驗(yàn)證者。

值得注意的是，研究者發(fā)現(xiàn)如果只優(yōu)化 SRC，模型會(huì)變得“聰明但難懂”；而加入 CGC 后，模型開(kāi)始生成更清晰、更結(jié)構(gòu)化的輸出，顯著提升了人類(lèi)用戶(hù)的理解度。

迭代博弈機(jī)制：一場(chǎng)持續(xù)的“說(shuō)服與審查”之戰(zhàn)

PVG 的訓(xùn)練并非一次性完成，而是一個(gè)持續(xù)迭代的過(guò)程。每一輪訓(xùn)練包括以下步驟：

1.驗(yàn)證者評(píng)估當(dāng)前證明者的輸出，更新判斷策略。

2.證明者根據(jù)驗(yàn)證者的反饋調(diào)整生成策略。

3.生成新的輸出樣本，構(gòu)建新的訓(xùn)練數(shù)據(jù)。

4.重復(fù)以上流程，直到驗(yàn)證者與證明者達(dá)到動(dòng)態(tài)平衡。

這種迭代機(jī)制類(lèi)似于 GAN（生成對(duì)抗網(wǎng)絡(luò)），但目標(biāo)不是生成逼真圖像，而是生成“邏輯清晰、易于驗(yàn)證”的文本輸出。研究者設(shè)定了收斂條件：當(dāng)驗(yàn)證者的完整性與健壯性指標(biāo)穩(wěn)定，且證明者的輸出在可讀性與準(zhǔn)確性之間達(dá)到平衡時(shí)，訓(xùn)練即告完成。

最終結(jié)果令人驚艷。證明者不僅能生成高質(zhì)量答案，還能以人類(lèi)易于理解的方式表達(dá)推理過(guò)程；驗(yàn)證者則成為一種“審計(jì)友好”的輔助模型，可用于評(píng)估LLM 輸出的可信度。

3.實(shí)驗(yàn)設(shè)計(jì)與核心結(jié)果

理論再精妙，也必須經(jīng)得起實(shí)證檢驗(yàn)。為了驗(yàn)證 Prover-Verifier Game（PVG）是否真的能提升大型語(yǔ)言模型的可讀性與可信度，研究團(tuán)隊(duì)設(shè)計(jì)了一系列對(duì)比實(shí)驗(yàn)，涵蓋數(shù)學(xué)推理、開(kāi)放式問(wèn)答、編程任務(wù)等多個(gè)領(lǐng)域。結(jié)果不僅令人信服，更揭示了一個(gè)長(zhǎng)期被忽視的真相：模型的“說(shuō)服力”可以被訓(xùn)練出來(lái)，而且與準(zhǔn)確性并不矛盾。

基線(xiàn)方法與對(duì)比設(shè)置：只優(yōu)化正確性，反而“說(shuō)不清”

圖4：向二進(jìn)制評(píng)分器學(xué)習(xí)會(huì)帶來(lái)很強(qiáng)的性能，但易讀性較差。a模型精度是RL訓(xùn)練步驟的函數(shù)。8k步長(zhǎng)的明顯下降是由于解決方案達(dá)到了最大完成長(zhǎng)度。b在評(píng)估初始化（?）、3k步（▲）或7k步（?）后的解決方案時(shí)，時(shí)間受限的人類(lèi)承包商的平均精度。c受時(shí)間限制的人工承包商正確標(biāo)記解決方案所需的平均時(shí)間。d對(duì)于初始化（灰色）、3k步后的證明者（藍(lán)色虛線(xiàn)）或7k步后（藍(lán)色實(shí)線(xiàn)）的解決方案，每個(gè)解決方案的承包商的平均精度是同一解決方案的模型精度的函數(shù)。對(duì)于每個(gè)實(shí)驗(yàn)，我們?cè)谄骄案鶕?jù)模型精度將數(shù)據(jù)分成四分位數(shù)。

作為對(duì)照組，研究者首先采用傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法——PPO（Proximal Policy Optimization）——僅以“正確性”為獎(jiǎng)勵(lì)目標(biāo)進(jìn)行訓(xùn)練。這種方法在過(guò)去被廣泛用于提升模型性能，尤其是在數(shù)學(xué)與編程任務(wù)中。

結(jié)果卻出人意料：雖然模型的準(zhǔn)確率顯著提升，但輸出的結(jié)構(gòu)卻變得混亂，推理過(guò)程冗長(zhǎng)、跳躍，甚至讓人類(lèi)評(píng)審員難以判斷其是否合理。換句話(huà)說(shuō)，模型變得“聰明但難懂”，仿佛在用一種只有自己能理解的語(yǔ)言進(jìn)行思考。

這一現(xiàn)象揭示了一個(gè)關(guān)鍵問(wèn)題，僅優(yōu)化正確性，可能導(dǎo)致模型“過(guò)度壓縮”推理過(guò)程，犧牲了可讀性與解釋性。

Checkability Training 效果：說(shuō)服力是一種可訓(xùn)練能力

引入驗(yàn)證者后，情況發(fā)生了根本性變化。在 PVG 框架下，證明者不僅要答對(duì)，還要讓驗(yàn)證者“信服”。這種雙重目標(biāo)促使模型生成更清晰、更結(jié)構(gòu)化的輸出。

圖片

圖5：一對(duì)驗(yàn)證者和證明者在不同輪次中的證明者訓(xùn)練階段的動(dòng)態(tài)。正確（實(shí)心）和不正確（虛線(xiàn)）解決方案（a）和準(zhǔn)確性（b）的平均驗(yàn)證者得分，作為RL訓(xùn)練步驟的函數(shù)，適用于后續(xù)輪次（列）和有用（紅色）或偷偷摸摸（棕色）的證明者。箭頭表示在狡猾的證明器的精度降至10%以下之前，步驟數(shù)會(huì)增加。

研究者發(fā)現(xiàn)，經(jīng)過(guò)可校驗(yàn)性訓(xùn)練后，模型在多個(gè)任務(wù)中展現(xiàn)出顯著的“說(shuō)服力”提升。驗(yàn)證者更容易判斷其輸出為合理，人類(lèi)評(píng)審員也更傾向于接受其推理過(guò)程。

更重要的是，這種提升并未以準(zhǔn)確性為代價(jià)。相反，在某些任務(wù)中，模型的準(zhǔn)確率甚至略有上升，表明可讀性與正確性并非零和博弈，而是可以協(xié)同優(yōu)化。

這一發(fā)現(xiàn)為 GPT-5 的設(shè)計(jì)提供了重要啟示：通過(guò)引入驗(yàn)證機(jī)制，可以讓模型“既聰明又通情達(dá)理”。

驗(yàn)證者魯棒性評(píng)估，別被模型“忽悠”了

圖片

圖6：驗(yàn)證器的魯棒性增加，這是通過(guò)僅偷偷摸摸的攻擊難度和平衡的最佳n準(zhǔn)確度來(lái)衡量的。在偷偷摸摸地發(fā)現(xiàn)SRC（藍(lán)色）、goodharting（橙色）和CGC（綠色）對(duì)手的漏洞之前的步驟數(shù)，是驗(yàn)證器大小的函數(shù)。當(dāng)偷偷摸摸變得95%不正確，偷偷摸摸的不正確樣本的平均驗(yàn)證器得分與同一輪中有用的正確樣本的得分一樣高時(shí)，我們宣布SRC和CGC對(duì)手的攻擊“成功”。當(dāng)在驗(yàn)證器得分上優(yōu)化證明者達(dá)到精度<0.2時(shí)，我們宣布一個(gè)好的對(duì)手“成功”。b在不同n輪和不同輪次的n個(gè)平衡樣本中選擇最有說(shuō)服力的正確解的分?jǐn)?shù)。這些解決方案來(lái)自當(dāng)前一輪有用證明的最后一個(gè)檢查點(diǎn)，平衡后正確率為50%。

一個(gè)關(guān)鍵問(wèn)題是：驗(yàn)證者是否真的能識(shí)別“偽邏輯”？為此，研究者設(shè)計(jì)了兩項(xiàng)對(duì)抗性評(píng)估：

Sneaky-only 對(duì)抗攻擊：在這一測(cè)試中，證明者被訓(xùn)練為“欺騙型”模型，專(zhuān)門(mén)生成看似合理但實(shí)則錯(cuò)誤的輸出。驗(yàn)證者必須識(shí)別這些偽邏輯，并拒絕接受。

結(jié)果顯示，經(jīng)過(guò)多輪訓(xùn)練的驗(yàn)證者具備較強(qiáng)的識(shí)別能力，能夠有效抵御 sneaky 模型的攻擊。這表明驗(yàn)證者不僅能評(píng)估可讀性，還能識(shí)別邏輯漏洞，具備一定的“審計(jì)能力”。

Best-of-n 評(píng)測(cè)：在這一測(cè)試中，模型生成多個(gè)候選輸出，驗(yàn)證者需從中選出最具可讀性的版本。結(jié)果顯示，驗(yàn)證者在多輪選擇中表現(xiàn)穩(wěn)定，能夠持續(xù)選出結(jié)構(gòu)清晰、邏輯合理的輸出。

圖片

圖7：由偷偷摸摸的證明者引入的缺陷變得更加局部化，時(shí)間有限的人更難發(fā)現(xiàn)。a初始化（左）和不同輪可檢查性訓(xùn)練中正確（實(shí)心）和不正確（虛線(xiàn)）解決方案部分的平均（圓形）和最小（三角形）有效性得分。b在不同輪次的可檢查性培訓(xùn)中評(píng)估來(lái)自狡猾證明者的解決方案時(shí)，時(shí)間受限的人類(lèi)承包商的平均準(zhǔn)確性。這一情節(jié)來(lái)自一場(chǎng)可能存在缺陷的競(jìng)選活動(dòng)（見(jiàn)附錄一）。c兩個(gè)來(lái)自不同訓(xùn)練點(diǎn)的驗(yàn)證者得分較高的錯(cuò)誤解決方案示例。缺陷以紅色突出顯示。請(qǐng)注意，在第二個(gè)例子中，缺陷是將單詞錯(cuò)誤地翻譯成方程式。

這兩項(xiàng)測(cè)試共同驗(yàn)證了驗(yàn)證者的魯棒性，也為其在 GPT-5 中的應(yīng)用提供了現(xiàn)實(shí)依據(jù)。

人類(lèi)可讀性轉(zhuǎn)移實(shí)驗(yàn)，從“忽悠”到“協(xié)作”的進(jìn)化

最后，研究者進(jìn)行了一項(xiàng)極具啟發(fā)性的實(shí)驗(yàn)：將 sneaky 模型與經(jīng)過(guò) Checkability Training 的 helpful 模型輸出交由人類(lèi)評(píng)審員進(jìn)行對(duì)比。

結(jié)果令人震撼：雖然 sneaky 模型在某些任務(wù)中也能給出正確答案，但其輸出往往缺乏邏輯結(jié)構(gòu)，難以理解。而helpful 模型則展現(xiàn)出更高的可讀性與說(shuō)服力，評(píng)審員更傾向于接受其推理過(guò)程，甚至在不確定答案是否正確時(shí)也愿意“相信它”。

圖片

圖8：可檢查性訓(xùn)練共同提高了模型性能和易讀性。a在不同輪次的可檢查性訓(xùn)練中，有用證明者的平均準(zhǔn)確度。b，c在不同輪次的可檢查性培訓(xùn)中評(píng)估有用證明者的解決方案時(shí)，時(shí)間受限的人類(lèi)承包商正確標(biāo)記解決方案所需的平均準(zhǔn)確度（b）和時(shí)間（c）

這項(xiàng)實(shí)驗(yàn)揭示了一個(gè)重要現(xiàn)象：人類(lèi)對(duì)模型的信任不僅取決于答案是否正確，更取決于推理過(guò)程是否清晰。這種“信任轉(zhuǎn)移”機(jī)制正是 PVG 的核心價(jià)值所在。

4.可讀性之路，并非坦途

Prover-Verifier Game（PVG）無(wú)疑為大型語(yǔ)言模型的可讀性訓(xùn)練開(kāi)辟了新路徑。但正如所有突破性方法一樣，它也面臨著一系列現(xiàn)實(shí)挑戰(zhàn)與理論邊界。在 GPT-5 的架構(gòu)中，這些問(wèn)題并未完全消失，而是以更復(fù)雜的形式呈現(xiàn)出來(lái)。理解這些局限，不僅有助于我們更清醒地評(píng)估 PVG 的價(jià)值，也為未來(lái)的改進(jìn)提供了方向。

領(lǐng)域標(biāo)簽依賴(lài)性：驗(yàn)證者不是“通用裁判”

PVG 的一個(gè)核心假設(shè)是：驗(yàn)證者可以判斷輸出是否“容易被人類(lèi)理解”。但這一判斷往往依賴(lài)于領(lǐng)域標(biāo)簽——即任務(wù)的類(lèi)型、語(yǔ)境、預(yù)期結(jié)構(gòu)等信息。

在數(shù)學(xué)推理任務(wù)中，驗(yàn)證者可以依賴(lài)公式結(jié)構(gòu)與邏輯鏈條進(jìn)行判斷；在開(kāi)放式問(wèn)答中，則需要理解語(yǔ)言風(fēng)格與語(yǔ)義連貫性；而在編程任務(wù)中，驗(yàn)證者甚至需要具備一定的語(yǔ)法解析能力。

這就導(dǎo)致一個(gè)問(wèn)題：驗(yàn)證者的泛化能力有限。它在某一領(lǐng)域表現(xiàn)良好，但在跨領(lǐng)域任務(wù)中可能失效。GPT-5 的“Universal Verifier”嘗試解決這一問(wèn)題，通過(guò)多任務(wù)訓(xùn)練與元學(xué)習(xí)提升驗(yàn)證者的通用性，但仍未完全擺脫領(lǐng)域依賴(lài)。

未來(lái)的方向可能是構(gòu)建“領(lǐng)域自適應(yīng)驗(yàn)證器”，或引入任務(wù)元標(biāo)簽作為輔助輸入，讓驗(yàn)證者在不同語(yǔ)境下做出更精準(zhǔn)判斷。

Chain-of-Thought 與可讀性之間的權(quán)衡：思路清晰≠語(yǔ)言清晰

Chain-of-Thought（CoT）方法鼓勵(lì)模型分步驟思考，是提升推理能力的重要手段。但在 PVG 框架下，CoT 并不總是“可讀”的。

研究者發(fā)現(xiàn)，某些 CoT 輸出雖然邏輯正確，但語(yǔ)言表達(dá)混亂、結(jié)構(gòu)松散，反而降低了驗(yàn)證者的判斷準(zhǔn)確率。更復(fù)雜的是，模型在優(yōu)化可讀性時(shí)，可能會(huì)犧牲部分推理深度，轉(zhuǎn)而生成“表面清晰但邏輯淺薄”的輸出。

這形成了一種微妙的權(quán)衡，我們希望模型既能深入思考，又能清晰表達(dá)，但這兩者并非天然一致。GPT-5 的“智能模式切換”機(jī)制嘗試在深度推理與快速響應(yīng)之間動(dòng)態(tài)平衡，但仍需更精細(xì)的控制策略。

或許未來(lái)的模型需要具備“表達(dá)風(fēng)格調(diào)節(jié)能力”，根據(jù)任務(wù)需求在“邏輯密度”與“語(yǔ)言清晰度”之間做出權(quán)衡，甚至允許用戶(hù)自定義輸出風(fēng)格。

實(shí)驗(yàn)異構(gòu)性與超參數(shù)敏感性：不是所有設(shè)置都能復(fù)現(xiàn)奇跡

PVG 的實(shí)驗(yàn)結(jié)果令人振奮，但也存在一定的異構(gòu)性與敏感性。研究者在不同任務(wù)、不同模型規(guī)模、不同訓(xùn)練數(shù)據(jù)上進(jìn)行測(cè)試，發(fā)現(xiàn)效果并不完全一致。

尤其是在小模型上，驗(yàn)證者的判斷能力受限，容易被 sneaky 模型欺騙；而在大模型上，訓(xùn)練成本高昂，驗(yàn)證者的反饋信號(hào)可能被“淹沒(méi)”在復(fù)雜的策略空間中。

此外，PVG 的訓(xùn)練過(guò)程對(duì)超參數(shù)極為敏感——包括獎(jiǎng)勵(lì)權(quán)重、驗(yàn)證者更新頻率、樣本構(gòu)造方式等。稍有偏差，訓(xùn)練效果就可能大打折扣。

這意味著，PVG 并非“即插即用”的萬(wàn)能方法，而是一種需要精細(xì)調(diào)參與任務(wù)定制的高級(jí)訓(xùn)練策略。GPT-5 的成功落地，很可能依賴(lài)于大量工程優(yōu)化與架構(gòu)調(diào)整，而非單一方法的直接遷移。

未來(lái)的研究應(yīng)致力于提升 PVG 的穩(wěn)定性與可復(fù)現(xiàn)性，或開(kāi)發(fā)更魯棒的訓(xùn)練框架，使其能在更廣泛的模型與任務(wù)中發(fā)揮作用。

GPT-5即將上線(xiàn)，期待它能給我們一個(gè)驚喜。（END）

參考資料：??https://arxiv.org/pdf/2407.13692??

本文轉(zhuǎn)載自???波動(dòng)智能???，作者：FlerkenS