大家好，我是肆〇柒。推理能力在當(dāng)下 AI 領(lǐng)域，尤其自然語言處理、智能決策系統(tǒng)、科學(xué)研究輔助等眾多關(guān)鍵領(lǐng)域，已然成為推動技術(shù)革新的關(guān)鍵要素。然而，目前大型語言模型雖已取得矚目成果，但在處理復(fù)雜邏輯時，常受困于邏輯連貫性把控，長鏈推理面臨信息丟失、邏輯斷裂問題，長序列輸出任務(wù)下推理耗時久、資源消耗大，這些痛點嚴(yán)重制約模型應(yīng)用場景拓展與性能深化。

現(xiàn)有強化學(xué)習(xí)（RL）系統(tǒng)在提升模型推理能力方面也遇到發(fā)展瓶頸。同步強化學(xué)習(xí)系統(tǒng)在訓(xùn)練過程中，GPU 利用率低、可擴展性差等問題凸顯。以同步 RL 系統(tǒng)處理長序列輸出為例，系統(tǒng)需等待批次中最長序列完成才開啟訓(xùn)練，因序列長度差異大，GPU 等待時間漫長，運算資源閑置浪費嚴(yán)重。不僅如此，隨著模型規(guī)模擴大、序列長度增加，同步系統(tǒng)擴展性不足，訓(xùn)練效率直線下滑。這些難題倒逼業(yè)界尋求創(chuàng)新解決方案，由清華大學(xué)與螞蟻研究院聯(lián)合研發(fā)的 AREAL 系統(tǒng)被提出并開源。AREAL 作為全新完全異步大型強化學(xué)習(xí)系統(tǒng)，憑借獨特架構(gòu)與創(chuàng)新算法，實現(xiàn)訓(xùn)練效率和模型性能的跨越式提升。

以 AIME24 基準(zhǔn)測試為例，1.5B 模型和 7B 模型訓(xùn)練中，推理設(shè)備因等待時間過長，訓(xùn)練效率備受打擊。同步系統(tǒng)執(zhí)行時，長序列輸出需全部完成才進入下一步，設(shè)備空轉(zhuǎn)、運算停滯，極大拖延訓(xùn)練進程。AREAL 在此做了優(yōu)化，直擊同步系統(tǒng)要害，以創(chuàng)新異步架構(gòu)重塑強化學(xué)習(xí)訓(xùn)練流程。其核心在于完全解耦生成與訓(xùn)練環(huán)節(jié)，生成過程不受訓(xùn)練等待限制，訓(xùn)練流程即時響應(yīng)生成數(shù)據(jù)，高效利用每一秒運算時間，打破同步系統(tǒng)枷鎖，為模型推理訓(xùn)練鋪就高速通道。本文將介紹 AREAL 的優(yōu)勢、架構(gòu)、算法革新及實驗成果。一起了解一下吧。

AREAL 的系統(tǒng)架構(gòu)

AREAL 的系統(tǒng)架構(gòu)是其高效運行的核心基礎(chǔ)，通過精心設(shè)計的四大核心組件——可中斷的 Rollout Worker、獎勵服務(wù)、Trainer Worker 和 rollout 控制器，實現(xiàn)了完全異步的強化學(xué)習(xí)訓(xùn)練流程。下圖展示了同步 RL 系統(tǒng)和單步重疊 RL 系統(tǒng)的執(zhí)行時間線，突出同步系統(tǒng)中推理設(shè)備的低效利用問題。

同步（上）和單步重疊（下）強化學(xué)習(xí)系統(tǒng)的執(zhí)行時間線，展示了未充分利用的推理設(shè)備

1. 可中斷的 Rollout Worker

Rollout Worker是 AREAL 系統(tǒng)中負責(zé)生成數(shù)據(jù)的關(guān)鍵組件。它主要處理兩類請求：生成請求和更新權(quán)重請求。在生成請求中，Rollout Worker根據(jù)當(dāng)前模型的參數(shù)，為給定的提示（prompt）生成響應(yīng)。這一過程是連續(xù)的，每個Rollout Worker獨立運行，無需等待其他組件完成任務(wù)，從而最大化 GPU 的利用率。

當(dāng)系統(tǒng)需要更新模型參數(shù)時，Rollout Worker會收到更新權(quán)重請求。此時，Rollout Worker會立即中斷當(dāng)前正在進行的生成任務(wù)，丟棄舊參數(shù)計算的 KV 緩存，并重新加載新的模型參數(shù)。加載完成后，Rollout Worker會繼續(xù)從上次中斷的地方開始生成剩余的序列。這一過程不僅確保了生成數(shù)據(jù)的實時性，還通過緩沖機制保持了訓(xùn)練批次的大小一致，從而維持了 PPO 算法的穩(wěn)定性。

2. 獎勵服務(wù)

獎勵服務(wù)是 AREAL 系統(tǒng)中負責(zé)評估生成數(shù)據(jù)質(zhì)量的組件。它接收 Rollout Worker生成的響應(yīng)，并根據(jù)預(yù)定義的獎勵函數(shù)計算每個響應(yīng)的獎勵值。例如，在代碼生成任務(wù)中，獎勵服務(wù)會提取生成的代碼片段，運行單元測試，并根據(jù)代碼的執(zhí)行結(jié)果和規(guī)范性給出獎勵分?jǐn)?shù)。在數(shù)學(xué)推理任務(wù)中，獎勵服務(wù)會驗證生成的答案是否正確，并據(jù)此給出獎勵。

獎勵服務(wù)的高效性對于整個系統(tǒng)的性能至關(guān)重要。AREAL 通過將獎勵計算與 GPU 計算分離，并利用多線程和異步編程技術(shù)，確保獎勵計算不會成為系統(tǒng)的瓶頸。這種設(shè)計使得獎勵服務(wù)能夠快速響應(yīng)，及時將獎勵信息反饋給Trainer Worker ，從而加速整個訓(xùn)練流程。

3. Trainer Worker 

Trainer Worker 是 AREAL 系統(tǒng)中負責(zé)模型更新的核心組件。它們從回放緩沖區(qū)（replay buffer）中采樣數(shù)據(jù)，當(dāng)數(shù)據(jù)量達到配置的批次大小時，Trainer Worker 會執(zhí)行 PPO 更新，并將更新后的模型參數(shù)存儲到分布式存儲中。Trainer Worker 的高效運行依賴于多個關(guān)鍵設(shè)計：

• 動態(tài)批處理策略：Trainer Worker 采用動態(tài)批處理策略來處理可變長度的輸出序列。該策略根據(jù)序列長度對數(shù)據(jù)進行排序，并將長度相近的序列分配到同一個微批次中，從而最大化 GPU 內(nèi)存的利用率。通過減少不必要的填充操作，Trainer Worker 能夠顯著提高訓(xùn)練吞吐量。
• 并行更新：Trainer Worker 可以并行運行多個更新任務(wù)，充分利用多 GPU 的計算能力。這種并行化設(shè)計進一步提升了系統(tǒng)的整體性能。

4. Rollout 控制器

Rollout 控制器是 AREAL 系統(tǒng)中負責(zé)協(xié)調(diào)各組件的關(guān)鍵組件。它在數(shù)據(jù)集、Rollout Worker、獎勵服務(wù)和Trainer Worker 之間起到橋梁的作用。在訓(xùn)練過程中，rollout 控制器從數(shù)據(jù)集中讀取數(shù)據(jù)，并向 Rollout Worker 發(fā)送生成請求。Rollout Worker生成的響應(yīng)會被發(fā)送到獎勵服務(wù)進行評估，評估結(jié)果（即獎勵值）和生成的軌跡一起存儲在回放緩沖區(qū)中。當(dāng)Trainer Worker 完成模型更新后，rollout 控制器會通知 Rollout Worker 更新權(quán)重。

Rollout 控制器的高效協(xié)調(diào)能力是實現(xiàn)異步訓(xùn)練的關(guān)鍵。它通過精確控制數(shù)據(jù)的流動和任務(wù)的調(diào)度，確保生成和訓(xùn)練過程能夠無縫銜接。此外，rollout 控制器還負責(zé)監(jiān)控系統(tǒng)的整體狀態(tài)，及時調(diào)整任務(wù)分配策略，以應(yīng)對不同任務(wù)和模型規(guī)模的需求。下圖展示了 AREAL 的架構(gòu)，包括異步生成和訓(xùn)練組件。

具有異步生成和訓(xùn)練組件的AREAL架構(gòu)

異步訓(xùn)練流程

AREAL 的異步訓(xùn)練流程是其區(qū)別于傳統(tǒng)同步 RL 系統(tǒng)的核心特征。在同步 RL 系統(tǒng)中，生成和訓(xùn)練是嚴(yán)格交替進行的，生成步驟必須等待批次中最長的序列完成才能開始訓(xùn)練，這導(dǎo)致了 GPU 的大量閑置時間。而 AREAL 完全解耦了生成和訓(xùn)練過程，Rollout Worker 和 Trainer Worker 可以獨立運行，互不等待。

• 生成過程：Rollout Worker以流式的方式持續(xù)生成新的輸出，無需等待其他工作者完成任務(wù)。這種設(shè)計使得 GPU 能夠始終保持高利用率，顯著提高了系統(tǒng)的整體效率。
• 訓(xùn)練過程：Trainer Worker 在獲得一批數(shù)據(jù)后立即開始更新模型，無需等待生成過程完成。更新完成后，模型參數(shù)會同步到所有 Rollout Worker，確保生成數(shù)據(jù)始終基于最新的模型版本。

通過這種異步設(shè)計，AREAL 不僅解決了同步系統(tǒng)中 GPU 利用率低的問題，還實現(xiàn)了高效的分布式訓(xùn)練，能夠輕松擴展到數(shù)千個 GPU。這種架構(gòu)為大規(guī)模強化學(xué)習(xí)訓(xùn)練提供了強大的支持，使得 AREAL 能夠在復(fù)雜的推理任務(wù)中展現(xiàn)出卓越的性能。下圖演示了 AREAL 的生成管理，包括訓(xùn)練就緒時間和新參數(shù)到達時的中斷請求。

在 AREAL 中的生成管理示意圖。垂直線表示下一步訓(xùn)練的準(zhǔn)備就緒時間。藍色叉號表示在新參數(shù)到達時被中斷的請求

AREAL 的系統(tǒng)優(yōu)化

AREAL 通過一系列系統(tǒng)級優(yōu)化措施，顯著提升了異步強化學(xué)習(xí)訓(xùn)練的效率和穩(wěn)定性。這些優(yōu)化策略涵蓋了從硬件資源管理到數(shù)據(jù)處理的各個環(huán)節(jié)，為高效的模型訓(xùn)練提供了堅實基礎(chǔ)。

1. GPU 與 CPU 資源分離

AREAL 將 GPU 計算與 CPU 操作分離，避免了兩者之間的相互干擾，提升了整體運算效率。系統(tǒng)將規(guī)則化獎勵計算及基于 TCP 的數(shù)據(jù)傳輸?shù)炔僮鞣峙浣o CPU 執(zhí)行，而將復(fù)雜的神經(jīng)網(wǎng)絡(luò)計算任務(wù)留給 GPU。通過在不同線程中獨立運行這些任務(wù)，并利用流水線技術(shù)將它們有機結(jié)合起來，AREAL 實現(xiàn)了獎勵計算和數(shù)據(jù)傳輸與后續(xù)生成請求的并行處理，充分利用了多核 CPU 和 GPU 的并行計算能力，從而顯著提高了系統(tǒng)的吞吐量。

2. 可中斷的 Rollout Worker

可中斷的 Rollout Worker是 AREAL 系統(tǒng)中實現(xiàn)高效訓(xùn)練的關(guān)鍵機制之一。在傳統(tǒng)的同步 RL 系統(tǒng)中，生成任務(wù)必須等待當(dāng)前批次中最長的序列完成才能進行下一步操作，這導(dǎo)致了 GPU 的大量閑置時間。而 AREAL 的 Rollout Worker 能夠在接收到更新權(quán)重的信號時，立即中斷當(dāng)前正在進行的生成任務(wù)，丟棄舊參數(shù)計算的 KV 緩存，并重新加載新的模型參數(shù)。加載完成后，Rollout Worker 會從上次中斷的地方繼續(xù)生成剩余的序列。這一過程不僅確保了生成數(shù)據(jù)的實時性，還通過緩沖機制保持了訓(xùn)練批次的大小一致，從而維持了 PPO 算法的穩(wěn)定性。這種可中斷的機制使得 Rollout Worker 能夠快速響應(yīng)模型參數(shù)的更新，避免了因等待長序列完成而導(dǎo)致的資源浪費，顯著提高了 GPU 的利用率和訓(xùn)練效率。通過以下圖表可以更直觀地了解可中斷生成對系統(tǒng)性能的影響：

可中斷的 Rollout 消融研究

3. 動態(tài)批處理策略

AREAL 采用了動態(tài)批處理策略來處理可變長度的輸出序列，這一策略在固定內(nèi)存約束下實現(xiàn)了對 token 分布的優(yōu)化平衡。系統(tǒng)會根據(jù)序列長度對數(shù)據(jù)進行排序，然后將長度相近的序列分配到同一個微批次中，從而最大化 GPU 內(nèi)存的利用率。通過減少不必要的填充操作，AREAL 能夠顯著提高訓(xùn)練吞吐量。此外，動態(tài)批處理策略還能夠根據(jù)當(dāng)前可用的 GPU 內(nèi)存動態(tài)調(diào)整微批次的大小，確保在不同模型規(guī)模和序列長度下都能充分利用 GPU 資源。這種靈活的批處理方式不僅提高了內(nèi)存利用率，還減少了前向 - 后向傳遞的次數(shù)，進一步提升了訓(xùn)練效率。動態(tài)微批分配策略對系統(tǒng)吞吐量的提升效果顯著，下圖展示了相關(guān)的消融研究結(jié)果：

 動態(tài)微批次分配的消融研究

4. 并行獎勵服務(wù)

為了進一步提升系統(tǒng)的效率，AREAL 引入了并行獎勵服務(wù)。在傳統(tǒng)的 RL 系統(tǒng)中，獎勵計算通常是串行進行的，這成為了系統(tǒng)的性能瓶頸之一。AREAL 通過將獎勵計算任務(wù)分配給多個并行的獎勵服務(wù)進程，實現(xiàn)了對獎勵計算的并行化處理。每個獎勵服務(wù)進程獨立地對生成的響應(yīng)進行評估，并計算相應(yīng)的獎勵值。這種并行化的獎勵服務(wù)不僅提高了獎勵計算的速度，還能夠更好地利用多核 CPU 的計算能力，從而進一步加快了整個訓(xùn)練流程。

5. 異步通信機制

AREAL 采用了高效的異步通信機制，確保了系統(tǒng)各組件之間的快速數(shù)據(jù)傳輸和同步。在異步訓(xùn)練過程中，生成的數(shù)據(jù)需要及時傳遞給Trainer Worker 進行模型更新，而更新后的模型參數(shù)也需要迅速同步到 Rollout Worker，以便生成新的數(shù)據(jù)。AREAL 通過使用消息隊列和異步通信協(xié)議，實現(xiàn)了數(shù)據(jù)的快速傳遞和組件之間的無縫銜接。這種異步通信機制不僅減少了數(shù)據(jù)傳輸?shù)难舆t，還提高了系統(tǒng)的整體吞吐量，使得 AREAL 能夠在大規(guī)模分布式訓(xùn)練環(huán)境中高效運行。

6. 資源調(diào)度與負載均衡

AREAL 還在資源調(diào)度和負載均衡方面進行了優(yōu)化。系統(tǒng)能夠根據(jù)當(dāng)前的任務(wù)需求和資源使用情況，動態(tài)調(diào)整各組件的資源分配。例如，在生成任務(wù)較重時，系統(tǒng)會優(yōu)先分配更多的 GPU 資源給 Rollout Worker；而在訓(xùn)練任務(wù)較重時，則會將更多的資源分配給Trainer Worker 。此外，AREAL 還通過負載均衡算法，確保了各個 GPU 和 CPU 核心之間的負載均衡，避免了部分資源過載而其他資源閑置的情況。這種動態(tài)的資源調(diào)度和負載均衡策略，使得 AREAL 能夠在不同的訓(xùn)練階段和任務(wù)場景下，始終保持高效的資源利用率和穩(wěn)定的訓(xùn)練性能。

通過以上一系列系統(tǒng)級優(yōu)化措施，AREAL 在硬件資源利用、數(shù)據(jù)處理效率和訓(xùn)練穩(wěn)定性等方面都取得了顯著的提升。這些優(yōu)化策略不僅為 AREAL 的高效異步訓(xùn)練提供了有力支持，也為其他大規(guī)模強化學(xué)習(xí)系統(tǒng)的開發(fā)提供了寶貴的參考。

AREAL 的算法創(chuàng)新

AREAL 的算法創(chuàng)新是其高效異步訓(xùn)練的核心驅(qū)動力，主要體現(xiàn)在對數(shù)據(jù)陳舊性問題的應(yīng)對策略以及解耦的 PPO 目標(biāo)函數(shù)的提出。下圖演示了 PPO 的解耦目標(biāo)和陳舊性控制的消融研究，展示了算法選擇對訓(xùn)練結(jié)果的影響。

對分離的PPO目標(biāo)和陳舊性控制進行了消融研究。這兩種算法選擇都至關(guān)重要。在采用適中的陳舊性值和分離目標(biāo)的情況下，訓(xùn)練進度可以加快2倍以上，同時保持最終評估性能不變

數(shù)據(jù)陳舊性問題與解決方案

在異步強化學(xué)習(xí)系統(tǒng)中，數(shù)據(jù)陳舊性是一個關(guān)鍵挑戰(zhàn)。由于生成和訓(xùn)練過程完全解耦，訓(xùn)練批次中可能包含由不同版本策略生成的數(shù)據(jù)。這種陳舊性可能導(dǎo)致訓(xùn)練數(shù)據(jù)的策略分布與當(dāng)前最新策略產(chǎn)生偏差，從而影響學(xué)習(xí)性能。AREAL 通過引入最大允許陳舊度 η 這一超參數(shù)，對策略版本差異進行嚴(yán)格限制。具體而言，假設(shè)當(dāng)前最新參數(shù)版本為 i，系統(tǒng)共生成了 Nr 條軌跡，訓(xùn)練批次大小為 B，則要求 ?Nr/B? ≤ i + η。系統(tǒng)實時追蹤 Nr 和參數(shù)版本 i，一旦發(fā)現(xiàn)請求違反陳舊度約束，即刻予以拒絕。這種機制確保了訓(xùn)練數(shù)據(jù)的新鮮度，避免了因數(shù)據(jù)過時而導(dǎo)致的性能下降。

解耦的 PPO 目標(biāo)函數(shù)

為適應(yīng)異步 RL 訓(xùn)練環(huán)境，AREAL 對傳統(tǒng)的 PPO 算法進行了創(chuàng)新性的改進，提出了解耦的 PPO 目標(biāo)函數(shù)。在標(biāo)準(zhǔn) PPO 中，所有采樣數(shù)據(jù)必須來源于單一的行為策略 πold，模型更新圍繞此單一策略展開。而 AREAL 大膽地將行為策略 πbehav 和近端策略 πprox 分離。行為策略負責(zé)生成訓(xùn)練數(shù)據(jù)，而近端策略則作為模型更新的參照標(biāo)桿。通過重要性采樣，解耦后的 PPO 目標(biāo)函數(shù)能夠有效地利用不同策略版本生成的數(shù)據(jù)，使模型更新始終在近端策略構(gòu)筑的信賴區(qū)域內(nèi)穩(wěn)步邁進。

解耦的 PPO 目標(biāo)函數(shù)通過引入近端策略 πprox，將原始 PPO 的優(yōu)化目標(biāo)分解為兩個部分：一部分是基于行為策略 πbehav 的重要性采樣，另一部分是基于近端策略 πprox 的信任區(qū)域約束。這種分解不僅提高了模型更新的穩(wěn)定性，還允許在異步環(huán)境中有效地利用陳舊數(shù)據(jù)。數(shù)學(xué)上，解耦后的 PPO 目標(biāo)函數(shù)可以表示為：

其中，πprox 表示近端策略，用于計算重要性采樣比率；πbehav 是行為策略，用于生成訓(xùn)練數(shù)據(jù)。這種設(shè)計使得 AREAL 能夠在異步環(huán)境中，即使數(shù)據(jù)存在一定陳舊性，也能保持訓(xùn)練的穩(wěn)定性和有效性。

算法優(yōu)勢與實驗驗證

解耦的 PPO 目標(biāo)函數(shù)在處理異步數(shù)據(jù)時展現(xiàn)出了顯著的優(yōu)勢。實驗對比表明，在不同陳舊度情況下，解耦 PPO 能夠維持訓(xùn)練的穩(wěn)定性，并顯著提升模型的最終性能。例如，在數(shù)學(xué)推理任務(wù)中，當(dāng)數(shù)據(jù)陳舊度 η 設(shè)置為 4 時，模型的最終準(zhǔn)確率僅比零陳舊度 oracle 模型低 1%，但訓(xùn)練速度卻提升了 2 倍以上。這表明解耦 PPO 目標(biāo)函數(shù)能夠在保證模型性能的同時，大幅提高訓(xùn)練效率。此外，通過消融實驗進一步驗證了解耦 PPO 目標(biāo)函數(shù)和陳舊度控制的有效性。開啟解耦 PPO 后，訓(xùn)練曲線更加平穩(wěn)，最終性能顯著提升；適當(dāng)設(shè)置最大允許陳舊度 η 值，在 η=4 時，模型在多個數(shù)學(xué)推理基準(zhǔn)測試中性能近乎與零陳舊度 oracle 相當(dāng)，卻換來成倍訓(xùn)練加速。這些實驗結(jié)果有力地支持了解耦 PPO 與陳舊度控制對于異步訓(xùn)練的關(guān)鍵價值。

下表對比了不同數(shù)據(jù)陳舊度下的評估分?jǐn)?shù)，展示了有無解耦目標(biāo)函數(shù)的影響。

在數(shù)據(jù)陳舊性變化時的評估分?jǐn)?shù)，比較了有無解耦目標(biāo)時的性能表現(xiàn)。與最佳分?jǐn)?shù)相差在±1以內(nèi)的數(shù)值已用下劃線標(biāo)出

AREAL 與其他現(xiàn)有異步 RL 系統(tǒng)的對比

系統(tǒng)架構(gòu)維度，AREAL 的完全解耦生成與訓(xùn)練架構(gòu)，賦予其硬件資源利用與擴展性的卓越基因。對比之下，其他系統(tǒng)模塊間緊密耦合，難以解鎖硬件性能全部潛能。

算法原理上，解耦的 PPO 目標(biāo)函數(shù)是 AREAL 的殺手锏。它在異步數(shù)據(jù)處理及陳舊性應(yīng)對方面技高一籌，相較于其他系統(tǒng)算法，AREAL 的模型更新更精準(zhǔn)、高效，如同在復(fù)雜路況中仍能保持穩(wěn)定高速的賽車，輕松跨越數(shù)據(jù)陳舊性障礙，持續(xù)輸出優(yōu)異性能。

數(shù)據(jù)處理方式對比，AREAL 的高效性與靈活性讓人印象深刻。它創(chuàng)新的數(shù)據(jù)管理策略，面對異步訓(xùn)練挑戰(zhàn)，總能游刃有余。而其他系統(tǒng)在數(shù)據(jù)收集、篩選等環(huán)節(jié)，要么動作遲緩，要么僵化死板，難以適配瞬息萬變的訓(xùn)練需求。

性能表現(xiàn)層面，實驗數(shù)據(jù)顯示訓(xùn)練速度、準(zhǔn)確率、可擴展性指標(biāo)上，AREAL 憑借線性擴展趨勢、卓越長序列生成訓(xùn)練表現(xiàn)，遙遙領(lǐng)先同步系統(tǒng)與競品異步系統(tǒng)。當(dāng)其他系統(tǒng)在 GPU 數(shù)量增加時遇到瓶頸，而 AREAL 的訓(xùn)練吞吐量節(jié)節(jié)攀升，尤其在長序列生成訓(xùn)練場景中，線性擴展優(yōu)勢尤為明顯。

下圖展示了 AREAL 與其他系統(tǒng)的強擴展趨勢對比，凸顯 AREAL 的線性擴展優(yōu)勢。

 虛線表示理想的線性擴展。Verl在32k上下文長度和32B模型下持續(xù)遇到內(nèi)存不足（OOM）問題，因此缺少數(shù)據(jù)點

AREAL 的實驗評估

AREAL 的實驗評估較為全面且深入，目的是全方位驗證系統(tǒng)的性能和優(yōu)勢。實驗設(shè)置嚴(yán)謹(jǐn)，選用的模型涵蓋從 1.5B 到 32B 參數(shù)規(guī)模，任務(wù)類型包括數(shù)學(xué)推理與代碼生成，基準(zhǔn)測試選取 AIME24、LiveCodeBench 等權(quán)威標(biāo)準(zhǔn)，訓(xùn)練步驟和評估協(xié)議規(guī)范且詳細，計算資源為 64 節(jié)點、每節(jié)點 8 GPU 的 H800 GPU 集群，為實驗提供了堅實的硬件基礎(chǔ)。實驗所采用的訓(xùn)練配置和超參數(shù)如下表所示：

訓(xùn)練配置和超參數(shù)

端到端比較

端到端比較環(huán)節(jié)，AREAL 的表現(xiàn)令人矚目。在數(shù)學(xué)推理任務(wù)中，以 1.5B 模型為例，與同步系統(tǒng)相比，AREAL 的訓(xùn)練吞吐量提升高達 2.57 倍。模型在 AIME24 基準(zhǔn)測試中的準(zhǔn)確率從同步系統(tǒng)的 42.0% 提升至 42.2%，訓(xùn)練時長從 41.0 小時大幅縮短至 14.8 小時。對于 7B 模型，準(zhǔn)確率從 63.0% 略升至 63.1%，訓(xùn)練時長則從 57.7 小時縮減至 25.4 小時。在代碼生成任務(wù)中，14B 模型在 LiveCodeBench 基準(zhǔn)測試中的準(zhǔn)確率從同步系統(tǒng)的 56.7% 提升至 58.1%，訓(xùn)練時長從 48.8 小時降至 21.9 小時。32B 模型同樣展現(xiàn)出顯著的性能提升。這些詳實的數(shù)據(jù)充分展示了 AREAL 在提高訓(xùn)練效率和模型性能方面的卓越能力。

下表展示了端到端性能比較，包括數(shù)學(xué)和代碼任務(wù)的準(zhǔn)確率和訓(xùn)練時間。

端到端性能對比。在AIME24數(shù)學(xué)基準(zhǔn)測試和LiveCodeBench（2024年8月1日至2025年2月1日）編程基準(zhǔn)測試上進行評估。將最大生成長度限制為32K token，并針對每個問題采樣32個回答，報告平均通過率@1的準(zhǔn)確率。*表示通過強化學(xué)習(xí)獲得的最佳已知可復(fù)現(xiàn)結(jié)果，分別引用自DeepScaler 和DeepCoder。AReaL在訓(xùn)練時間少2倍的情況下，實現(xiàn)了相當(dāng)?shù)男阅鼙憩F(xiàn)

可擴展性測試

可擴展性測試中，AREAL 隨著 GPU 數(shù)量的增加，訓(xùn)練吞吐量展現(xiàn)出近乎理想的線性增長趨勢。以 1.5B 模型、16k 上下文長度為例，對比 verl 系統(tǒng)，AREAL 在 32 GPU 時的吞吐量達到 29k token/s，是 verl 的 1.5 倍；在 64 GPU 時，吞吐量更是高達 41k token/s，遠超 verl。而 verl 在 GPU 數(shù)量增加時吞吐量增速緩慢，AREAL 的線性擴展優(yōu)勢十分明顯。尤其在長序列生成訓(xùn)練場景中，這種優(yōu)勢更為突出，這得益于 AREAL 完全解耦生成和訓(xùn)練過程的設(shè)計，使其能夠高效地利用更多的 GPU 資源。

算法消融研究

算法消融研究進一步驗證了 AREAL 算法創(chuàng)新的有效性。實驗對比了開啟和關(guān)閉解耦 PPO 目標(biāo)函數(shù)以及不同最大允許陳舊度 η 值下的訓(xùn)練結(jié)果。結(jié)果顯示，開啟解耦 PPO 目標(biāo)函數(shù)后，訓(xùn)練曲線更加平穩(wěn)，最終性能顯著提升。在適當(dāng)設(shè)置 η 值的情況下，例如 η=4 時，模型在多個數(shù)學(xué)推理基準(zhǔn)測試中的性能近乎與零陳舊度 oracle 相當(dāng)，但訓(xùn)練速度卻提升了 2 倍以上。這有力地證明了解耦 PPO 目標(biāo)函數(shù)和陳舊度控制對于異步訓(xùn)練的關(guān)鍵價值，表明這兩種機制能夠有效地應(yīng)對異步環(huán)境中的數(shù)據(jù)陳舊性問題，加速訓(xùn)練過程的同時保持模型性能的穩(wěn)定。

實驗挑戰(zhàn)與解決方案

在實驗過程中，AREAL 團隊也遇到了一些挑戰(zhàn)。例如，在數(shù)據(jù)收集和預(yù)處理階段，如何確保數(shù)據(jù)的質(zhì)量和多樣性是一個難題。團隊通過制定嚴(yán)格的數(shù)據(jù)清洗、標(biāo)注和篩選流程，確保了數(shù)據(jù)集的可靠性和適用性。在模型訓(xùn)練過程中，超參數(shù)的調(diào)整也是一個關(guān)鍵問題。團隊通過大量的實驗和經(jīng)驗積累，確定了合適的學(xué)習(xí)率、折扣因子、批量大小等超參數(shù)，以優(yōu)化模型的訓(xùn)練效果。此外，團隊還開發(fā)了一系列工具和方法來監(jiān)控和調(diào)試訓(xùn)練過程，以便及時發(fā)現(xiàn)和解決問題。

綜上所述，AREAL 的實驗評估驗證了系統(tǒng)的高效性和優(yōu)越性，同時也展示了其在實際應(yīng)用中的可靠性和穩(wěn)定性。通過端到端比較、可擴展性測試和算法消融研究等多個維度的實驗，AREAL 證明了其在大規(guī)模強化學(xué)習(xí)訓(xùn)練中的強大能力和廣闊應(yīng)用前景。

AREAL 的開源與應(yīng)用

AREAL 的開源舉措是要點贊的，其開放性體現(xiàn)在多個維度。項目不僅公開訓(xùn)練細節(jié)、數(shù)據(jù)集和基礎(chǔ)設(shè)施配置，還提供詳盡的代碼和配置示例，助力研究者與開發(fā)者快速上手。新手開發(fā)者可直接利用這些資源，從編寫訓(xùn)練腳本到調(diào)整超參數(shù)，再到環(huán)境部署與多機多卡訓(xùn)練擴展。

開源倉庫介紹

AREAL 的開源倉庫（見參考資料）是開發(fā)者實踐和探索的寶貴資源。倉庫精心組織，包含以下核心模塊：

• core：系統(tǒng)核心組件的實現(xiàn)代碼，包括可中斷的 Rollout Worker、獎勵服務(wù)、Trainer Worker 和 rollout 控制器。
• algorithms：包含解耦的 PPO 算法及其他 RL 算法的實現(xiàn)。
• utils：提供系統(tǒng)運行所需的工具函數(shù)，如動態(tài)批處理、異步通信等。
• examples：提供多個示例腳本，展示如何使用 AREAL 進行不同任務(wù)的訓(xùn)練和評估。

倉庫還提供詳細的文檔和教程，指導(dǎo)開發(fā)者快速入門。例如，通過以下命令即可在本地訓(xùn)練 Qwen3 1.7B 模型：

sh examples/run_async_ppo.sh

評估模型的命令如下：

cd evaluation
python eval_and_aggregate.py \
  --model_path ${MODEL_PATH} \
  --output_path ${OUTPUT_PATH} \
  --data_names aime24,aime25 \
  --max_gen_tokens 32768 \
  --data_names codeforces,lcb_v5 \
  --prompt_type qwen3-think-pure \
  --temperature 1.0

這些腳本和命令為開發(fā)者提供了便捷的操作指南，使其能夠迅速開展實驗。

應(yīng)用場景拓展

AREAL 的應(yīng)用不僅限于數(shù)學(xué)推理和代碼生成，還可拓展至邏輯謎題、科學(xué)問題解決等更多推理任務(wù)領(lǐng)域。以邏輯謎題為例，開發(fā)者可設(shè)計相應(yīng)的獎勵函數(shù)，將謎題解決步驟轉(zhuǎn)化為可量化獎勵信號，引導(dǎo)模型逐步探索解空間。同時，定制環(huán)境設(shè)置，模擬謎題操作界面，讓模型實時交互試錯。盡管任務(wù)數(shù)據(jù)稀缺性和模型結(jié)構(gòu)適配性等挑戰(zhàn)接踵而至，但 AREAL 憑借異步訓(xùn)練機制，靈活調(diào)整采樣策略與模型架構(gòu)，仍能輸出令人滿意的推理成果。

在科學(xué)問題解決任務(wù)中，AREAL 能高效處理復(fù)雜科學(xué)數(shù)據(jù)集。多元特征與長序列模型訓(xùn)練難題也被異步架構(gòu)輕松化解。開發(fā)者可利用 AREAL 的異步訓(xùn)練機制，高效處理科學(xué)數(shù)據(jù)，提升模型在科學(xué)問題解決任務(wù)中的表現(xiàn)。

總結(jié)

當(dāng)我讀完 AREAL 相關(guān)論文材料，我對這款大型語言模型高效推理的強化學(xué)習(xí)系統(tǒng)，有了一定理解。AREAL 異步架構(gòu)和創(chuàng)新算法為模型推理訓(xùn)練提供了全新思路。從架構(gòu)系統(tǒng)來看，AREAL 通過將生成與訓(xùn)練完全解耦，讓 Rollout Worker 和 Trainer Worker 能夠獨立運行，避免了同步系統(tǒng)中因等待長序列完成而導(dǎo)致的資源浪費。這種設(shè)計顯著提高了 GPU 的利用率，使得訓(xùn)練過程更加高效。同時，系統(tǒng)各組件的協(xié)調(diào)工作，如可中斷的Rollout Worker能夠及時響應(yīng)模型參數(shù)更新，獎勵服務(wù)高效評估生成數(shù)據(jù)質(zhì)量等，都為整個系統(tǒng)的高效運行提供了有力支撐。

在算法層面，AREAL 針對異步強化學(xué)習(xí)中的數(shù)據(jù)陳舊性問題提出了有效解決方案。通過限制策略版本差異和采用解耦的 PPO 目標(biāo)函數(shù)，AREAL 使模型更新能夠在高質(zhì)量近端策略的信賴區(qū)域內(nèi)進行，從而穩(wěn)定訓(xùn)練過程。這一創(chuàng)新不僅巧妙化解了異步系統(tǒng)中數(shù)據(jù)陳舊性的難題，還體現(xiàn)了研究者對 RL 算法本質(zhì)的深刻認(rèn)識。系統(tǒng)優(yōu)化措施也給我留下了深刻印象。動態(tài)批處理策略、可中斷的 Rollout Worker等設(shè)計，處處體現(xiàn)出對計算資源的極致追求。

AREAL 的開源舉措非常棒。它不僅公開了訓(xùn)練細節(jié)、數(shù)據(jù)集和基礎(chǔ)設(shè)施配置，還提供了詳盡的代碼和配置示例，為研究者和開發(fā)者提供了寶貴的資源。這種開放共享的科研精神有助于加速整個行業(yè)的發(fā)展，讓更多人有機會在這一領(lǐng)域進行探索和創(chuàng)新。

總體而言，AREAL 這個框架大型語言模型強化學(xué)習(xí)帶來了顯著進步。其異步訓(xùn)練架構(gòu)、系統(tǒng)優(yōu)化措施和算法改進等方面都展現(xiàn)出強大的優(yōu)勢。當(dāng)然，AREAL 仍有很大的發(fā)展空間，如進一步優(yōu)化推理和訓(xùn)練設(shè)備的比例、探索多輪交互和智能體場景的應(yīng)用等。