大家好，我是肆〇柒。在 vibe coding 活躍的當(dāng)下，有時(shí)，我們不得不思考一個(gè)問(wèn)題：在軟件開(kāi)發(fā)流程中，我們能否完全依賴(lài)、使用 LLM 生成的代碼？大型語(yǔ)言模型（LLM）在代碼生成基準(zhǔn)測(cè)試中的卓越表現(xiàn)備受矚目，從 HumanEval 到 LiveCodeBench，眾多基準(zhǔn)測(cè)試平臺(tái)見(jiàn)證了 LLM 在代碼生成任務(wù)上的飛速進(jìn)步。然而，隨著 LLM 日趨融入軟件開(kāi)發(fā)，其生成代碼的質(zhì)量和可靠性評(píng)估變得更加關(guān)鍵，因?yàn)檫@影響著生產(chǎn)落地應(yīng)用的品質(zhì)和服務(wù)價(jià)值。

那么，代碼驗(yàn)證作為衡量 LLM 生成代碼質(zhì)量的核心環(huán)節(jié)，其評(píng)估方法的可靠性，直接影響著我們對(duì)模型性能的認(rèn)知，以及強(qiáng)化學(xué)習(xí)從可驗(yàn)證獎(jiǎng)勵(lì)（RLVR）框架的有效性。但遺憾的是，當(dāng)前主流代碼生成評(píng)估基準(zhǔn)存在顯著局限性，這不僅高估了 LLM 的性能，還使得 RLVR 框架中的獎(jiǎng)勵(lì)估計(jì)存在偏差。為此，上海人工智能實(shí)驗(yàn)室聯(lián)合西安交通大學(xué)等機(jī)構(gòu)的研究者，系統(tǒng)地研究了測(cè)試用例生成（TCG）任務(wù)，提出了多維度量化測(cè)試套件全面性的指標(biāo)體系，并引入“人 - LLM 協(xié)作”方法 SAGA（Strategic Adversarial & Constraint-differential GenerAtive workflow），顯著提升生成測(cè)試用例的覆蓋率和質(zhì)量。并且還開(kāi)發(fā)了 TCGBench，助力 TCG 任務(wù)研究。

實(shí)驗(yàn)表明，SAGA 在 TCGBench 上將驗(yàn)證器準(zhǔn)確度（Verifier Accuracy，VAcc，衡量測(cè)試套件能否一次性拒絕所有已知錯(cuò)誤解的指標(biāo)）提升了 15.86%，基于 SAGA 的 CodeCompass 基準(zhǔn)測(cè)試使模型 Pass@1 相對(duì)下降 9.56%，重塑了模型性能排行榜。這項(xiàng)研究已開(kāi)源 TCGBench 和 TCGCoder-7B，期望推動(dòng) RLVR 研究發(fā)展。

這個(gè)研究非常有意思，我欣賞到的是一場(chǎng) AI 原生的“定義任務(wù)”-“制定評(píng)估”-“人機(jī)交互”的一次研究實(shí)戰(zhàn)。這拋開(kāi)研究課題內(nèi)容本身，對(duì)于自己落地 AI，很有借鑒意義。下面我們一起來(lái)看看研究歷程。

現(xiàn)有代碼驗(yàn)證方法的缺陷

主流代碼生成評(píng)估基準(zhǔn)存在諸多不足，這些缺陷可能導(dǎo)致我們對(duì) LLM 性能的評(píng)估過(guò)于樂(lè)觀，許多潛在錯(cuò)誤未被發(fā)現(xiàn)。以下是現(xiàn)有代碼驗(yàn)證方法的主要缺陷：

測(cè)試用例覆蓋不足

主流代碼生成評(píng)估基準(zhǔn)的測(cè)試用例數(shù)量有限且同質(zhì)化嚴(yán)重。HumanEval 平均每個(gè)問(wèn)題僅提供 7.7 個(gè)測(cè)試用例，MBPP 每個(gè)問(wèn)題僅提供 3 個(gè)，EvalPlus 盡管增加了測(cè)試數(shù)量，卻導(dǎo)致通過(guò)率驟降 15%，暴露出測(cè)試用例覆蓋面不足、同質(zhì)化嚴(yán)重的問(wèn)題。

LLM 生成測(cè)試用例的偏差

LiveCodeBench 利用 LLM 生成大量測(cè)試用例，在提升測(cè)試效率方面具有顯著優(yōu)勢(shì)。然而，其生成的測(cè)試用例存在明顯偏差，傾向于反映 LLM 自身的典型、同質(zhì)化錯(cuò)誤模式，而人類(lèi)編程錯(cuò)誤則更加多樣化，涵蓋邏輯錯(cuò)誤、整數(shù)溢出等多種復(fù)雜情況。這種偏差導(dǎo)致 LLM 生成的測(cè)試用例難以有效檢測(cè)人類(lèi)編寫(xiě)的錯(cuò)誤代碼。

下圖（a）顯示，LLM 驗(yàn)證器對(duì)人類(lèi)代碼的漏檢率顯著高于 LLM 代碼。下圖（b）則揭示，LLM 誘導(dǎo)錯(cuò)誤高度聚集，而人類(lèi)錯(cuò)誤分散。橫縱坐標(biāo)為前兩主成分，LLM 錯(cuò)誤呈 “致密團(tuán)簇”（紅色），人類(lèi)錯(cuò)誤呈 “星云狀”（藍(lán)色）。距離越近代表錯(cuò)誤模式越相似，可見(jiàn) LLM 測(cè)試用例對(duì) “團(tuán)簇外” 的人類(lèi)錯(cuò)誤幾乎無(wú)感知。這進(jìn)一步凸顯了現(xiàn)有驗(yàn)證器在應(yīng)對(duì)多樣化錯(cuò)誤模式時(shí)的不足，強(qiáng)調(diào)了改進(jìn)測(cè)試用例生成方法的必要性。

(a) LLM 驗(yàn)證器對(duì)人類(lèi)代碼漏檢率高；(b) LLM 錯(cuò)誤模式分布與人類(lèi)錯(cuò)誤模式分布對(duì)比

既然“測(cè)得越多≠測(cè)得越好”，我們就需要一套更精細(xì)的尺子，來(lái)衡量“怎樣才算測(cè)得足夠好”。下面，我們先給出這套尺子的刻度——TCG 任務(wù)的正式定義與多維指標(biāo)。

測(cè)試用例生成任務(wù)的形式化定義與多維度評(píng)估指標(biāo)

帶著“尺子”的訴求，我們先把 TCG 任務(wù)放在放大鏡下：它到底要解決什么問(wèn)題，又該用什么刻度來(lái)評(píng)價(jià)？

TCG 任務(wù)定義

多維度評(píng)估指標(biāo)

為更精準(zhǔn)衡量測(cè)試套件質(zhì)量，提出以下多維度評(píng)估指標(biāo)：

至此，我們有了刻度，下一步自然要問(wèn)：現(xiàn)有方法到底離“刻度滿(mǎn)分”還有多遠(yuǎn)？下面我們來(lái)了解一下三大主流范式。

現(xiàn)有 TCG 范式

在探討三種范式之前，我們先通過(guò)一張圖直觀對(duì)比它們的流程差異。

代碼評(píng)估流程與多種 TCG 范式

圖中清晰展示了：

• 直接生成（Direct Generation）
• 輸入解釋器（Input-Interpreter）
• 人類(lèi)先驗(yàn)（Human Priors，即本文中的 SAGA 方法）

三者在輸入來(lái)源、輸出驗(yàn)證方式上的關(guān)鍵區(qū)別。

直接生成范式

直接生成范式通過(guò)直接提示 LLM 生成完整測(cè)試用例，包括輸入和輸出。然而，這種方法對(duì) LLM 的深度理解能力要求極高，尤其是對(duì)邊緣情況的把握。實(shí)驗(yàn)結(jié)果顯示，LLM 生成的測(cè)試用例保留率低，整體 DR 通常低于 60%，VAcc 低于 10%，且 LLM 生成的解決方案容易通過(guò)自身生成的測(cè)試用例，表明這些測(cè)試用例難以挑戰(zhàn)模型的認(rèn)知偏差。例如，在生成復(fù)雜算法（如圖算法、動(dòng)態(tài)規(guī)劃算法）的測(cè)試用例時(shí)，直接生成范式往往難以覆蓋所有關(guān)鍵路徑和邊界條件，導(dǎo)致生成的測(cè)試用例質(zhì)量較低。

下圖（a）展示了 LLM 直接生成的測(cè)試用例質(zhì)量低，下圖（b）顯示了其高自通過(guò)率，這表明 LLM 生成的測(cè)試用例存在明顯不足，難以有效檢測(cè)代碼中的錯(cuò)誤。

 (a) LLM 直接生成測(cè)試用例質(zhì)量低；(b) LLM 生成測(cè)試用例高自通過(guò)率

輸入解釋器范式

輸入解釋器范式由 LLM 生成隨機(jī)輸入，再由真實(shí)解釋器計(jì)算對(duì)應(yīng)輸出。雖然這種方法可以生成大量測(cè)試用例，但單純?cè)黾訑?shù)量無(wú)法根本提升檢測(cè)率，因?yàn)闇y(cè)試用例之間存在相關(guān)性。通過(guò)理論推導(dǎo)和實(shí)驗(yàn)驗(yàn)證，我們發(fā)現(xiàn)，隨著生成的測(cè)試用例數(shù)量 n 趨近于無(wú)窮大，在平均檢測(cè)概率 p 和平均正相關(guān) p eff 穩(wěn)定的情況下，檢測(cè)率的上限收斂于 。這表明，測(cè)試用例的相關(guān)性限制了檢測(cè)率的提升。例如，在測(cè)試一個(gè)數(shù)學(xué)計(jì)算函數(shù)時(shí)，輸入解釋器范式生成的測(cè)試用例可能集中在某些特定的數(shù)值范圍或計(jì)算模式內(nèi)，導(dǎo)致無(wú)法有效檢測(cè)出在其他數(shù)值范圍或計(jì)算模式下的錯(cuò)誤。

下圖（a）顯示，隨著測(cè)試用例數(shù)量增加，檢測(cè)率逐漸飽和，無(wú)法達(dá)到 100%。下圖（b）進(jìn)一步表明，檢測(cè)率與測(cè)試用例數(shù)量的對(duì)數(shù)呈半對(duì)數(shù)關(guān)系，驗(yàn)證了相關(guān)性對(duì)檢測(cè)率提升的限制。

(a) 檢測(cè)率隨測(cè)試用例數(shù)量增加而飽和；(b) 檢測(cè)率與測(cè)試用例數(shù)量的對(duì)數(shù)關(guān)系

Human Priors 范式（人類(lèi)先驗(yàn)）

Human Priors 范式利用人類(lèi)的正確解決方案和錯(cuò)誤解決方案來(lái)指導(dǎo) LLM 生成測(cè)試用例。與前兩種范式相比，該方法能夠更好地結(jié)合人類(lèi)的編程經(jīng)驗(yàn)和 LLM 的語(yǔ)義理解能力，通過(guò)人機(jī)交互，從而生成更高質(zhì)量的測(cè)試用例。

三大范式對(duì)比

經(jīng)驗(yàn)告訴我們：?jiǎn)慰?LLM 或單靠人類(lèi)直覺(jué)都不足以突破天花板。在 LLM 性能日趨強(qiáng)大的今天，我們可以嘗試“人機(jī)協(xié)作”，把二者擰成一股繩——這就是 SAGA（Strategic Adversarial & Constraint-differential GenerAtive workflow）。

SAGA：人 - LLM 協(xié)作的 TCG 框架

研究者提出 SAGA，正是為了回答“如何利用人類(lèi)知識(shí)，卻不被人類(lèi)知識(shí)的速度和規(guī)模所限”這一關(guān)鍵問(wèn)題。

SAGA（Strategic Adversarial & Constraint-differential GenerAtive workflow）是一種創(chuàng)新的人 - LLM 協(xié)作框架，致力于生成高質(zhì)量、多樣化且具有區(qū)分性的測(cè)試套件。該框架通過(guò)結(jié)合人類(lèi)編程見(jiàn)解與 LLM 推理，充分利用正確解決方案和錯(cuò)誤提交中的信息，以指導(dǎo) LLM 構(gòu)建挑戰(zhàn)性測(cè)試輸入。

工作流程

SAGA 的工作流程如下：

1. 輸入階段 ：SAGA 接收編程問(wèn)題描述、正確解決方案以及錯(cuò)誤提交。

2. 分析階段 ：SAGA 對(duì)正確解決方案進(jìn)行多維度分析，提取約束處理差異和防御模式解構(gòu)等關(guān)鍵信息；同時(shí)對(duì)錯(cuò)誤提交進(jìn)行差異分析，找出約束處理差異、防御完整性缺失和失敗模式。

3. 生成階段 ：SAGA 利用提取的信息指導(dǎo) LLM 構(gòu)建挑戰(zhàn)性測(cè)試輸入，并生成相應(yīng)的測(cè)試用例。

4. 驗(yàn)證階段 ：通過(guò)自驗(yàn)證腳本驗(yàn)證生成的測(cè)試用例是否符合問(wèn)題約束和測(cè)試策略，確保測(cè)試用例的有效性和準(zhǔn)確性。

下圖展示了 SAGA 框架的整體架構(gòu)，包括輸入、分析、生成和驗(yàn)證等階段，體現(xiàn)了其人 - LLM 協(xié)作的特點(diǎn)。

SAGA 框架架構(gòu)

多維度分析與差異分析

多維度分析從正確解決方案中提取深刻見(jiàn)解以設(shè)計(jì)挑戰(zhàn)性測(cè)試，主要涵蓋約束處理差異和防御模式解構(gòu)兩個(gè)方面：

• 約束處理差異 ：比較錯(cuò)誤解決方案 Swrong 和正確解決方案 S′ 在處理問(wèn)題特定約束上的差異，發(fā)現(xiàn)測(cè)試用例中約束條件的薄弱環(huán)節(jié)，從而設(shè)計(jì)出更能暴露錯(cuò)誤的測(cè)試用例。例如，在一個(gè)資源分配問(wèn)題中，正確解決方案可能?chē)?yán)格遵循資源限制條件，而錯(cuò)誤解決方案可能在某些情況下超出資源限制。通過(guò)分析這種差異，可以生成專(zhuān)門(mén)測(cè)試資源限制條件的測(cè)試用例。
• 防御模式解構(gòu) ：將正確解決方案中的防御邏輯和問(wèn)題解決策略分解為正式的數(shù)學(xué)或邏輯約束，如 “等價(jià)類(lèi)：玩家配對(duì)”，“邊界值：[(1,2), (N,N?1)]”，使 SAGA 能針對(duì)奇點(diǎn)、極端值或特定結(jié)構(gòu)屬性生成邊緣和對(duì)抗性測(cè)試用例，提升測(cè)試用例的多樣性和針對(duì)性。例如，在一個(gè)網(wǎng)絡(luò)請(qǐng)求處理函數(shù)中，正確解決方案可能對(duì)各種異常請(qǐng)求（如超大請(qǐng)求、非法格式請(qǐng)求）進(jìn)行了完善的防御處理。通過(guò)解構(gòu)這些防御模式，可以生成相應(yīng)的異常請(qǐng)求測(cè)試用例，驗(yàn)證代碼在面對(duì)惡意攻擊或異常輸入時(shí)的魯棒性。

差異分析通過(guò)對(duì)比錯(cuò)誤提交 Swrong 與其修正版本 S′ correct，發(fā)現(xiàn)常見(jiàn)錯(cuò)誤模式。主要關(guān)注以下幾點(diǎn)：

• 約束處理差異 ：找出 Swrong 和 S′ correct 在處理問(wèn)題特定約束上的差異。例如，在一個(gè)數(shù)據(jù)處理任務(wù)中，錯(cuò)誤提交可能未正確處理數(shù)據(jù)的完整性約束，而修正版本則修復(fù)了這一問(wèn)題。通過(guò)分析這種差異，可以生成專(zhuān)門(mén)測(cè)試數(shù)據(jù)完整性約束的測(cè)試用例。
• 防御完整性缺失 ：揭示 Swrong 在處理邊緣情況或邊界輸入方面的不足。例如，錯(cuò)誤提交可能未對(duì)極端輸入值（如非常大或非常小的數(shù)值）進(jìn)行有效的處理，導(dǎo)致程序崩潰或產(chǎn)生錯(cuò)誤結(jié)果。通過(guò)差異分析，可以發(fā)現(xiàn)這些缺失的防御措施，并生成相應(yīng)的邊緣輸入測(cè)試用例。
• 失敗模式分析 ：生成能觸發(fā) Swrong 失敗但被 S′ correct 正確處理的特定輸入，將這些輸入納入測(cè)試套件 T，增強(qiáng)驗(yàn)證器的區(qū)分能力。例如，錯(cuò)誤提交可能在處理并發(fā)訪(fǎng)問(wèn)時(shí)存在死鎖問(wèn)題，而修正版本通過(guò)優(yōu)化鎖機(jī)制解決了這一問(wèn)題。通過(guò)失敗模式分析，可以生成特定的并發(fā)測(cè)試用例，驗(yàn)證代碼在高并發(fā)場(chǎng)景下的正確性。

自驗(yàn)證腳本

自驗(yàn)證腳本在確保生成測(cè)試輸入符合問(wèn)題約束和測(cè)試策略方面發(fā)揮著重要作用。它在執(zhí)行前驗(yàn)證測(cè)試輸入是否滿(mǎn)足問(wèn)題要求，如檢查輸入是否符合指定范圍、格式等，從而提升生成測(cè)試用例的準(zhǔn)確性和有效性，避免生成無(wú)效或不符合要求的測(cè)試用例。例如，在一個(gè)文件解析函數(shù)的測(cè)試中，自驗(yàn)證腳本可以檢查生成的測(cè)試文件是否符合特定的文件格式規(guī)范（如 JSON 格式、XML 格式），確保測(cè)試用例的有效性。

SAGA 的優(yōu)勢(shì)

與傳統(tǒng) TCG 范式相比，SAGA 具備以下優(yōu)勢(shì)：

1. 高質(zhì)量測(cè)試用例生成 ：通過(guò)結(jié)合人類(lèi)編程見(jiàn)解與 LLM 推理，SAGA 能夠生成更高質(zhì)量的測(cè)試用例，有效提升測(cè)試套件的檢測(cè)率和驗(yàn)證器準(zhǔn)確度。

2. 多樣化測(cè)試用例 ：SAGA 的多維度分析和差異分析能夠生成多樣化的測(cè)試用例，覆蓋更廣泛的錯(cuò)誤模式，降低測(cè)試用例之間的相關(guān)性。

3. 適應(yīng)性強(qiáng) ：SAGA 對(duì)不同的 LLM backbone 具有良好的適應(yīng)性，即使使用較小的模型也能取得優(yōu)異的性能。

SAGA 的實(shí)驗(yàn)驗(yàn)證

通過(guò)實(shí)驗(yàn)驗(yàn)證 SAGA 框架在提升測(cè)試用例生成質(zhì)量方面的有效性，并與現(xiàn)有方法進(jìn)行對(duì)比，分析其優(yōu)勢(shì)和局限性，提出實(shí)驗(yàn)。

實(shí)驗(yàn)設(shè)置

在 TCGBench 上對(duì) SAGA 進(jìn)行了全面驗(yàn)證。TCGBench 匯集了來(lái)自 Atcoder、Codeforces 和 Nowcoder 的 1840 個(gè)近期編程問(wèn)題，每個(gè)問(wèn)題平均包含 36.66 個(gè)錯(cuò)誤用戶(hù)提交。我們采用了 DeepSeek-V3-0324、Qwen2.5-72B-Instruct 和 Qwen2.5-Coder-32B-Instruct 等開(kāi)源 LLM 模型，并運(yùn)用檢測(cè)率（DR）、驗(yàn)證器準(zhǔn)確度（VAcc）、不同錯(cuò)誤模式覆蓋率（DEPC）和多樣性比率（Diversity Ratio）等指標(biāo)進(jìn)行評(píng)價(jià)。

關(guān)鍵發(fā)現(xiàn)與圖表引用

實(shí)驗(yàn)結(jié)果顯示，SAGA 在檢測(cè)率、驗(yàn)證器準(zhǔn)確度等關(guān)鍵指標(biāo)上顯著優(yōu)于隨機(jī)輸入解釋器基線(xiàn)及其單獨(dú)分析組件。例如，在 270 道 TCGBench-Lite 難題上，SAGA 將 VAcc@50 從隨機(jī)基線(xiàn)的 16.72% 提升到 32.58%，提升 15.86 個(gè)百分點(diǎn)，相當(dāng)于讓每三個(gè)原本蒙混過(guò)關(guān)的錯(cuò)誤解中多抓出一個(gè)。其 AUC@50（0.5445）是基線(xiàn)的 2 倍。這表明 SAGA 能更有效地檢測(cè)錯(cuò)誤，生成更具區(qū)分性的測(cè)試用例。

下圖（a）展示了 SAGA 在檢測(cè)率上的表現(xiàn)遠(yuǎn)超基線(xiàn)和單獨(dú)分析組件，下圖（b）顯示了 SAGA 在驗(yàn)證器準(zhǔn)確度上的顯著優(yōu)勢(shì)，下圖（c）和下圖（d）分別呈現(xiàn)了 SAGA 在不同錯(cuò)誤模式覆蓋率和多樣性比率方面的優(yōu)秀表現(xiàn)。

(a) SAGA 檢測(cè)率表現(xiàn)；(b) SAGA 驗(yàn)證器準(zhǔn)確度表現(xiàn)；(c) SAGA 不同錯(cuò)誤模式覆蓋率；(d) SAGA 多樣性比率表現(xiàn)

進(jìn)一步分析發(fā)現(xiàn)，SAGA 生成的測(cè)試用例在不同錯(cuò)誤模式覆蓋率和多樣性比率方面也表現(xiàn)出色，能夠更廣泛地覆蓋錯(cuò)誤模式，降低測(cè)試用例之間的相關(guān)性，從而提高測(cè)試套件的整體質(zhì)量。例如，在一個(gè)字符串處理函數(shù)的測(cè)試中，SAGA 生成的測(cè)試用例涵蓋了各種字符串邊界情況（如空字符串、超長(zhǎng)字符串、包含特殊字符的字符串），而基線(xiàn)方法生成的測(cè)試用例則主要集中在普通字符串情況，未能有效覆蓋邊界情況。

消融實(shí)驗(yàn)

通過(guò)對(duì) SAGA 進(jìn)行消融實(shí)驗(yàn)，研究者深入分析了其各個(gè)組件對(duì)性能的影響。結(jié)果表明，多維度分析和差異分析組件的協(xié)同作用是實(shí)現(xiàn) SAGA 優(yōu)越性能的關(guān)鍵。以下是消融實(shí)驗(yàn)結(jié)果：

從表中可以看出，SAGA 對(duì) LLM backbone 變化表現(xiàn)出良好的魯棒性，即使使用較小的 Qwen2.5-Coder-7B 模型，也能取得與基線(xiàn)方法相媲美甚至更優(yōu)的性能。這充分證明了 SAGA 框架的有效性和適應(yīng)性。

下圖展示了 SAGA 在不同 LLM backbone 下的性能表現(xiàn)，表明其在不同模型和問(wèn)題來(lái)源下均能顯著提升檢測(cè)率和驗(yàn)證器準(zhǔn)確度。

SAGA 在不同 LLM backbone 下的檢測(cè)率和驗(yàn)證器準(zhǔn)確度表現(xiàn)

基于 SAGA 的高級(jí)應(yīng)用

帶著實(shí)驗(yàn)驗(yàn)證的信心，研究者讓 SAGA 直接“接管”了 270 道最新競(jìng)賽題，由此誕生了更嚴(yán)苛、更公平的全新基準(zhǔn)——CodeComPass。

CodeComPass 基準(zhǔn)測(cè)試

研究者基于 SAGA 開(kāi)發(fā)了 CodeComPass，這是一個(gè)高質(zhì)量的代碼生成評(píng)估基準(zhǔn)測(cè)試。與 LiveCodeBench-v6 相比，CodeComPass 在驗(yàn)證器質(zhì)量、對(duì)代碼生成模型評(píng)估的區(qū)分能力等方面實(shí)現(xiàn)了顯著提升。例如，在共享子集上，CodeComPass 的 DR@40 比 LiveCodeBench-v6 高出 14.59 個(gè)百分點(diǎn)，VAcc@40 高出 10.78 個(gè)百分點(diǎn)，多樣性比率高出 43.13%，AUC@40 高出 43.4%。這些提升表明，CodeComPass 能更準(zhǔn)確地評(píng)估代碼生成模型的性能。

CodeComPass 在不同難度問(wèn)題上的平均 Pass@1 表現(xiàn)

上圖顯示了 CodeComPass 在不同難度問(wèn)題上的平均 Pass@1 表現(xiàn)，表明其對(duì)模型性能的區(qū)分能力更強(qiáng)。下圖則展示了模型在 CodeComPass 和 LiveCodeBench-v6 上的排名變化，凸顯了 CodeComPass 能更細(xì)致地揭示模型之間的性能差異。

模型在 CodeComPass 和 LiveCodeBench-v6 上的排名變化

對(duì) RLVR 的影響

SAGA 生成的高質(zhì)量驗(yàn)證器顯著提高了 RLVR 框架的準(zhǔn)確性。通過(guò)提供更準(zhǔn)確的獎(jiǎng)勵(lì)信號(hào)，SAGA 減少了獎(jiǎng)勵(lì)欺騙現(xiàn)象，使模型在訓(xùn)練過(guò)程中能更真實(shí)地反映其性能。例如，在使用 SAGA 生成的測(cè)試套件進(jìn)行訓(xùn)練時(shí)，模型在復(fù)雜編程問(wèn)題（如圖算法問(wèn)題、動(dòng)態(tài)規(guī)劃問(wèn)題）上的性能提升更為顯著，代碼生成的正確性和魯棒性得到增強(qiáng)。這為開(kāi)發(fā)更強(qiáng)大、更可靠的代碼生成模型奠定了基礎(chǔ)。

至此，從“發(fā)現(xiàn)問(wèn)題”到“定義刻度”再到“交付工具”，我們已經(jīng)跑完一個(gè)完整閉環(huán)。這就是一個(gè)關(guān)于“評(píng)估”的研究案例。

總結(jié)

本文重新審視了基于 LLM 的 TCG 方法，通過(guò)構(gòu)建 TCGBench、提出 SAGA 框架以及開(kāi)發(fā) CodeComPass 和 TCGCoder-7B 等實(shí)際舉措，為提升 LLM 代碼評(píng)估的可靠性提供了切實(shí)可行的方案，提升了 RLVR 的性能，也為自動(dòng)化對(duì)抗測(cè)試合成和自適應(yīng)基準(zhǔn)整合奠定了基礎(chǔ)。這些成果在優(yōu)化代碼生成評(píng)估方法、提高模型訓(xùn)練效率和增強(qiáng)代碼生成質(zhì)量方面具有重要意義。

如同我在文章開(kāi)頭所說(shuō)的那樣，這份研究真正吸引我的是研究者對(duì)“方法論”的演示。這對(duì)于我們?cè)?AI 應(yīng)用中的“評(píng)估”設(shè)計(jì)以及落地，具有較高的參考價(jià)值。以下是我的一點(diǎn)學(xué)習(xí)后的觀感，分享給大家：

把“評(píng)估”做成產(chǎn)品：一次 AI 原生的方法論演練

如果把這篇論文只看成一個(gè)“更高明的測(cè)試用例生成器”，就低估了它的示范價(jià)值。它真正精彩的，是把“評(píng)估”本身當(dāng)成一個(gè)可迭代、可度量、可規(guī)?；?AI 產(chǎn)品——從任務(wù)定義、指標(biāo)設(shè)計(jì)、數(shù)據(jù)構(gòu)造、算法框架到最終交付，形成了一條AI-native 的閉環(huán)。下面我用五個(gè)關(guān)鍵詞，把這條閉環(huán)抽出來(lái)，供任何想在垂直場(chǎng)景落地 AI 的同學(xué)做一點(diǎn)參考，如果你覺(jué)得我說(shuō)的不對(duì)，我希望能與你成為“覺(jué)察流”的社區(qū)伙伴，我們一起探討、進(jìn)化。

1. 痛點(diǎn)溯源：把“感覺(jué)不對(duì)”翻譯成“指標(biāo)不對(duì)”

• 現(xiàn)象?HumanEval 看似 80+ 分，實(shí)則在 LeetCode 真·評(píng)測(cè)機(jī)上 20 %～40 % 的題被打出 WA（Wrong Answer）。
• 翻譯?不是模型菜，而是“測(cè)試用例的檢測(cè)率 / 驗(yàn)證器準(zhǔn)確度”這兩個(gè)維度被嚴(yán)重高估。

啟發(fā)：先別急著改模型，先改“尺子”。把“我覺(jué)得測(cè)試不夠”翻譯成可計(jì)算的 DR（Detection Rate） 與 VAcc（Verifier Accuracy），問(wèn)題立刻有了抓手。

2. 任務(wù)定義：把“測(cè)試生成”升格為 TCG 任務(wù)

• 輸入：?jiǎn)栴}描述 + 題解空間 + 歷史 WA/TLE（Time Limit Exceeded） 代碼
• 輸出：用例集 T
• 目標(biāo)：最大化 DR（檢測(cè)率） & VAcc（驗(yàn)證器準(zhǔn)確度），同時(shí)最小化測(cè)試冗余， 也就是≈ 最小化 （平均有效相關(guān)系數(shù)，可以理解為“測(cè)試之間不要互相抄答案”）。

啟發(fā)：用一句話(huà)把任務(wù)寫(xiě)成“帶約束的優(yōu)化問(wèn)題”，后面就能用算法和數(shù)據(jù)來(lái)解。

3.據(jù)工廠：把公開(kāi)平臺(tái)變成“錯(cuò)誤市集”

• 從 AtCoder / Codeforces / Nowcoder 抓 1840 道最新題 + 36.66 條真實(shí)錯(cuò)誤提交 / 題
• 人工去噪，但不人為寫(xiě)用例——讓數(shù)據(jù)保持“野生”分布

啟發(fā)：高質(zhì)量數(shù)據(jù)不必從零標(biāo)注；把公開(kāi)資源“切一刀”就能變成科研級(jí)數(shù)據(jù)集（TCGBench）。這一招可復(fù)制到任何帶評(píng)測(cè)記錄的開(kāi)源社區(qū)。

4. 人機(jī)協(xié)作：讓 LLM 做“放大器”，人類(lèi)做“瞄準(zhǔn)鏡”

SAGA 人機(jī)協(xié)作中，有個(gè)很妙的點(diǎn)，就在于雙向蒸餾：

• 正向蒸餾：從 AC（Accepted） 代碼里提煉“等價(jià)類(lèi) + 邊界值 + 防御模式” → 告訴 LLM “該往哪打”。
• 反向蒸餾：從 WA（Wrong Answer） 代碼里提煉“錯(cuò)誤觸發(fā)路徑” → 告訴 LLM “別人在哪兒跌倒”。最后讓 LLM 寫(xiě)腳本、寫(xiě)解釋、寫(xiě)自檢，完成大規(guī)模、低人力的對(duì)抗用例倉(cāng)庫(kù)。

啟發(fā)：與其讓 LLM 瞎猜，不如用“人類(lèi)錯(cuò)題本”給它裝一個(gè)導(dǎo)航系統(tǒng)（指導(dǎo)作用）；既解決規(guī)模，又保留人類(lèi)經(jīng)驗(yàn)。

5. 產(chǎn)品化交付：把“論文指標(biāo)”變成“行業(yè)基準(zhǔn)”

• CodeComPass：270 道最新題 + 50.54 個(gè) SAGA 用例 / 題 —> 直接替換 LiveCodeBench 子集，立刻讓排行榜重排座次。
• TCGCoder-7B：用 15 k 題蒸餾出 7 B 小模型，推理成本降一個(gè)量級(jí)，效果卻吊打 70B 通用模型。

啟發(fā)：評(píng)估基礎(chǔ)設(shè)施一旦做成“即插即用”的組件，就能反過(guò)來(lái)喂養(yǎng)訓(xùn)練、評(píng)測(cè)、產(chǎn)品迭代的全鏈路。

把“測(cè)得更準(zhǔn)”升級(jí)為“做得更對(duì)”

當(dāng)你把評(píng)估工具做成產(chǎn)品，它就不僅是“扣分器”，而成了持續(xù)改進(jìn)的飛輪：

• 對(duì)研究者而言：TCGBench + CodeComPass 提供了可復(fù)現(xiàn)、可對(duì)抗的科研沙盒；
• 對(duì)工程師而言：SAGA 用例腳本可以直接嵌入 CI（持續(xù)集成），讓每一次 PR 都跑在更嚴(yán)苛的測(cè)試上；
• 對(duì) RL 訓(xùn)練者而言：更準(zhǔn)確的獎(jiǎng)勵(lì)信號(hào)讓模型不再“鉆測(cè)試空子”，而是真正學(xué)會(huì)“寫(xiě)對(duì)代碼”。

這正是 AI 時(shí)代的方法論：把“主觀經(jīng)驗(yàn)”轉(zhuǎn)成“可計(jì)算指標(biāo)”，把“人力痛點(diǎn)”轉(zhuǎn)成“數(shù)據(jù)紅利”，把“一次性實(shí)驗(yàn)”轉(zhuǎn)成“可持續(xù)迭代的系統(tǒng)”。

所以，我的理解，SAGA 是一套可遷移的模板。那么，，下一次，無(wú)論你是做表格理解、藥物發(fā)現(xiàn)還是硬件驗(yàn)證，都可以復(fù)現(xiàn)這條“定義任務(wù) - 設(shè)計(jì)指標(biāo) - 人機(jī)協(xié)作 - 數(shù)據(jù)閉環(huán) - 產(chǎn)品化交付”的步驟。

一句話(huà)：評(píng)估不是成本，而是杠桿；把它做到極致，剩下的就只是時(shí)間問(wèn)題了。