小模型也開(kāi)始卷起來(lái)了！

在麻省理工學(xué)院衍生公司Liquid AI發(fā)布了一款小到可以裝在智能手表上的新AI視覺(jué)模型，以及谷歌發(fā)布了一款可以在智能手機(jī)上運(yùn)行的小型模型之后，英偉達(dá)也加入了這場(chǎng)浪潮，推出了自己的新型小型語(yǔ)言模型（SLM）：

Nemotron Nano v2。

這款9B的“小”模型在復(fù)雜推理基準(zhǔn)測(cè)試上的準(zhǔn)確率與Qwen3-8B相當(dāng)或更高，速度快6倍。

再聯(lián)系到他們前些天發(fā)布的論文觀點(diǎn)：小模型才是智能體的未來(lái)，看來(lái)真不只是說(shuō)說(shuō)而已。

除了這款模型，他們首次“自豪地”開(kāi)源了用于創(chuàng)建它的絕大部分?jǐn)?shù)據(jù)，包括預(yù)訓(xùn)練語(yǔ)料庫(kù)。

讓我們來(lái)看一下……20萬(wàn)億？Nemotron Nano v2在20萬(wàn)億多個(gè)token上進(jìn)行預(yù)訓(xùn)練？

與Qwen相比速度提升6倍

技術(shù)報(bào)告顯示，Nemotron Nano v2在復(fù)雜推理基準(zhǔn)測(cè)試上的準(zhǔn)確率與同等規(guī)模的領(lǐng)先開(kāi)源模型Qwen3-8B相當(dāng)或更高，同時(shí)吞吐量——也就是模型速度——最高可提升6倍。

這款模型由英偉達(dá)從頭訓(xùn)練，設(shè)計(jì)目標(biāo)是成為兼顧推理與非推理任務(wù)的統(tǒng)一模型。

模型在響應(yīng)用戶查詢或執(zhí)行任務(wù)時(shí)，會(huì)首先生成推理過(guò)程（reasoning trace），隨后輸出最終答案。該模型支持“思考”預(yù)算控制，在推理過(guò)程中，用戶可以指定模型被允許“思考”的token數(shù)量。

如果用戶希望模型直接給出最終答案（跳過(guò)中間推理步驟），可通過(guò)配置實(shí)現(xiàn)，但這一做法可能導(dǎo)致對(duì)復(fù)雜推理類(lèi)提示的準(zhǔn)確率下降。

相反，若允許模型先展示推理過(guò)程，通常能顯著提升最終答案的質(zhì)量，尤其針對(duì)需邏輯分析的復(fù)雜任務(wù)。

面對(duì)網(wǎng)友“思考預(yù)算控制是如何實(shí)現(xiàn)的”的問(wèn)題，英偉達(dá)的模型訓(xùn)練師Oleksii Kuchaiev表示：

我們最初采用了與Qwen3相同的實(shí)現(xiàn)方法，但發(fā)現(xiàn)當(dāng)強(qiáng)制要求模型直接輸出答案時(shí)，它仍會(huì)在預(yù)設(shè)的思維鏈之外進(jìn)行“思考”。通過(guò)對(duì)截?cái)嗨季S鏈的訓(xùn)練，我們成功解決了這個(gè)問(wèn)題。

基礎(chǔ)模型同樣開(kāi)源

評(píng)估結(jié)果顯示，與其他開(kāi)源小規(guī)模模型相比，Nemotron Nano v2在準(zhǔn)確率上具有優(yōu)勢(shì)。在 NeMo-Skills套件的“推理開(kāi)啟”模式下測(cè)試，該模型在AIME25上達(dá)到72.1%，在MATH500上達(dá)到97.8%，在GPQA上達(dá)到64.0%，在LiveCodeBench上達(dá)到 71.1%。

在指令遵循和長(zhǎng)上下文基準(zhǔn)測(cè)試中的得分也有報(bào)告：在IFEval上達(dá)到 90.3%，在RULER 128K測(cè)試中達(dá)到 78.9%，在BFCL v3和HLE基準(zhǔn)測(cè)試中也有較小但可測(cè)量的提升。

Nemotron Nano v2經(jīng)過(guò)了以下訓(xùn)練過(guò)程：

預(yù)訓(xùn)練：模型使用FP8精度在20萬(wàn)億個(gè)token上進(jìn)行預(yù)訓(xùn)練，采用Warmup-Stable-Decay學(xué)習(xí)率調(diào)度。隨后進(jìn)入持續(xù)預(yù)訓(xùn)練長(zhǎng)上下文擴(kuò)展階段，使其在不降低其他基準(zhǔn)測(cè)試性能的情況下達(dá)到128k的能力。

后訓(xùn)練：Nemotron Nano v2通過(guò)監(jiān)督微調(diào)（SFT）、組相對(duì)策略優(yōu)化（GRPO）、直接偏好優(yōu)化（DPO）和人類(lèi)反饋強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行后訓(xùn)練。約5%的數(shù)據(jù)包含故意截?cái)嗟耐评碥壽E，從而在推理時(shí)實(shí)現(xiàn)細(xì)粒度思考預(yù)算控制。

壓縮：最后，基礎(chǔ)模型和對(duì)齊模型均經(jīng)過(guò)壓縮（剪枝和蒸餾），支持在單個(gè)NVIDIA A10G GPU（22 GiB 內(nèi)存，bfloat16 精度）上進(jìn)行128k token的上下文推理。這一成果是通過(guò)擴(kuò)展基于Minitron的壓縮策略實(shí)現(xiàn)的，該策略專(zhuān)門(mén)針對(duì)受限條件下的推理模型壓縮需求而設(shè)計(jì)。

除了Nemotron Nano v2模型本身，英偉達(dá)還發(fā)布了兩個(gè)基礎(chǔ)模型NVIDIA-Nemotron-Nano-12B-v2-Base（對(duì)齊或剪枝前的基礎(chǔ)模型）和NVIDIA-Nemotron-Nano-9B-v2-Base（剪枝的基礎(chǔ)模型），對(duì)應(yīng)模型訓(xùn)練的不同階段，均支持128k上下文長(zhǎng)度。

最后，Nemotron Nano v2當(dāng)前支持在線試用，鏈接可見(jiàn)文末。

超大預(yù)訓(xùn)練數(shù)據(jù)庫(kù)

除了Nemotron Nano v2，英偉達(dá)首次發(fā)布了他們用于創(chuàng)建模型的絕大部分?jǐn)?shù)據(jù)，包括預(yù)訓(xùn)練語(yǔ)料庫(kù)。

至于為什么是“絕大部分”，有網(wǎng)友問(wèn)了這個(gè)問(wèn)題，官方回復(fù)簡(jiǎn)直不要太有道理（笑）。

預(yù)訓(xùn)練數(shù)據(jù)集Nemotron-Pre-Training-Dataset-v1包含66萬(wàn)億個(gè)優(yōu)質(zhì)網(wǎng)絡(luò)爬取、數(shù)學(xué)、代碼、SFT 和多語(yǔ)言問(wèn)答數(shù)據(jù)，并分為四個(gè)類(lèi)別：

Nemotron-CC-v2：作為Nemotron-CC的升級(jí)版本，新增收錄了2024至2025年間八個(gè)批次的Common Crawl網(wǎng)絡(luò)快照數(shù)據(jù)。數(shù)據(jù)已進(jìn)行全球去重，并使用Qwen3-30B-A3B進(jìn)行合成改寫(xiě)。它還包含翻譯成15種語(yǔ)言的合成多樣化問(wèn)答對(duì)，支持強(qiáng)大的多語(yǔ)言推理和通用知識(shí)預(yù)訓(xùn)練。

Nemotron-CC-Math-v1: 一個(gè)基于Common Crawl、使用英偉達(dá)的Lynx + LLM流程生成的1330億token的數(shù)學(xué)專(zhuān)注數(shù)據(jù)集，在保留方程和代碼格式的同時(shí)，將數(shù)學(xué)內(nèi)容標(biāo)準(zhǔn)化為L(zhǎng)aTeX格式。這確保了關(guān)鍵的數(shù)學(xué)和代碼片段保持完整，從而生成高質(zhì)量的預(yù)訓(xùn)練數(shù)據(jù)，在基準(zhǔn)測(cè)試中優(yōu)于先前的數(shù)學(xué)數(shù)據(jù)集。

Nemotron-Pretraining-Code-v1: 一個(gè)大規(guī)模的精選代碼數(shù)據(jù)集，源自GitHub，并通過(guò)多階段去重、許可證執(zhí)行和啟發(fā)式質(zhì)量檢查進(jìn)行過(guò)濾。它還包括11種編程語(yǔ)言的LLM生成的代碼問(wèn)答對(duì)。

Nemotron-Pretraining-SFT-v1：一個(gè)綜合生成的數(shù)據(jù)集，涵蓋STEM、學(xué)術(shù)、推理和多語(yǔ)言領(lǐng)域。該數(shù)據(jù)集整合了多元化的高質(zhì)量?jī)?nèi)容，包括從數(shù)學(xué)與科學(xué)核心題庫(kù)提取的復(fù)雜多選題和分析題、研究生階段的專(zhuān)業(yè)學(xué)術(shù)文獻(xiàn)，以及經(jīng)過(guò)指令微調(diào)的SFT數(shù)據(jù)。

Nemotron-Pretraining-Dataset-sample：該數(shù)據(jù)集的一個(gè)小型抽樣版本提供了10個(gè)具有代表性的數(shù)據(jù)子集，涵蓋了高質(zhì)量問(wèn)答數(shù)據(jù)、數(shù)學(xué)專(zhuān)項(xiàng)內(nèi)容、代碼元數(shù)據(jù)以及SFT指令數(shù)據(jù)。

那些數(shù)字看起來(lái)都嚇人，數(shù)零都得數(shù)半天（目移）。

One More Thing

順帶一提，最近英偉達(dá)的開(kāi)源勢(shì)頭可以說(shuō)是很猛了。

相比于其他國(guó)外科技巨頭陸續(xù)走向的閉源道路，英偉達(dá)構(gòu)建的Nemotron生態(tài)直接把開(kāi)源二字寫(xiě)在了門(mén)面上。

無(wú)論是前段時(shí)間發(fā)布的Llama Nemotron Super v1.5，還是這次的Nemotron Nano v2，對(duì)標(biāo)的也是國(guó)內(nèi)開(kāi)源模型Qwen3。

這樣的策略會(huì)給他們帶來(lái)什么？又會(huì)改變些什么？我們拭目以待。

參考鏈接：
[1]https://x.com/ctnzr/status/1957504768156561413
[2]https://research.nvidia.com/labs/adlr/NVIDIA-Nemotron-Nano-2/
[3]https://venturebeat.com/ai/nvidia-releases-a-new-small-open-model-nemotron-nano-9b-v2-with-toggle-on-off-reasoning/
論文：https://research.nvidia.com/labs/adlr/files/NVIDIA-Nemotron-Nano-2-Technical-Report.pdf
模型：https://huggingface.co/collections/nvidia/nvidia-nemotron-689f6d6e6ead8e77dd641615
試用：https://build.nvidia.com/nvidia/nvidia-nemotron-nano-9b-v2