英偉達的通用大模型 Nemotron，開源了最新的 3400 億參數(shù)版本。

本周五，英偉達宣布推出 Nemotron-4 340B。它包含一系列開放模型，開發(fā)人員可以使用這些模型生成合成數(shù)據(jù)，用于訓練大語言模型（LLM），可用于醫(yī)療健康、金融、制造、零售等所有行業(yè)的商業(yè)應用。

高質(zhì)量的訓練數(shù)據(jù)在自定義 LLM 的響應性能、準確性和質(zhì)量中起著至關(guān)重要的作用 —— 但強大的數(shù)據(jù)集經(jīng)常是昂貴且難以訪問的。通過獨特的開放模型許可，Nemotron-4 340B 為開發(fā)人員提供了一種免費、可擴展的方式來生成合成數(shù)據(jù)，從而幫助人們構(gòu)建強大的 LLM。

Nemotron-4 340B 系列包括基礎、Instruct 和 Reward 模型，它們形成了一個 pipeline，用于生成訓練和改進 LLM 的合成數(shù)據(jù)。這些模型經(jīng)過優(yōu)化，可與 NVIDIA NeMo 配合使用，后者是一個用于端到端模型訓練的開源框架，包括數(shù)據(jù)管理、定制和評估。它們還針對開源 NVIDIA TensorRT-LLM 庫的推理進行了優(yōu)化。

英偉達表示，Nemotron-4 340B 現(xiàn)已可從 Hugging Face 下載。開發(fā)人員很快就能在 ai.nvidia.com 上訪問這些模型，它們將被打包為 NVIDIA NIM 微服務，并帶有可在任何地方部署的標準應用程序編程接口。

Hugging Face 下載：https://huggingface.co/collections/nvidia/nemotron-4-340b-666b7ebaf1b3867caf2f1911

導航 Nemotron 以生成合成數(shù)據(jù)

大語言模型可以幫助開發(fā)人員在無法訪問大型、多樣化標記數(shù)據(jù)集的情況下生成合成訓練數(shù)據(jù)。

Nemotron-4 340B Instruct 模型創(chuàng)建了多樣化的合成數(shù)據(jù)，模仿了現(xiàn)實世界數(shù)據(jù)的特征，有助于提高數(shù)據(jù)質(zhì)量，從而提高自定義 LLM 在各個領(lǐng)域的性能和魯棒性。

為了提高 AI 生成的數(shù)據(jù)的質(zhì)量，開發(fā)人員可以使用 Nemotron-4 340B Reward 模型來篩選高質(zhì)量的響應。Nemotron-4 340B Reward 根據(jù)五個屬性對響應進行評分：可用性、正確性、連貫性、復雜性和冗長性。它目前在 AI2 創(chuàng)建的 Hugging Face RewardBench 排行榜上名列第一，用于評估獎勵模型的能力、安全性和缺陷。

在這個合成數(shù)據(jù) pipeline 中，（1）Nemotron-4 340B Instruct 模型用于生成基于文本的合成輸出。然后，評估模型（2） Nemotron-4 340B Reward 評估生成的文本并提供反饋，從而指導迭代改進并確保合成數(shù)據(jù)的準確。

研究人員還可以使用自己的專有數(shù)據(jù)，結(jié)合已包含的 HelpSteer2 數(shù)據(jù)集，來定制 Nemotron-4 340B 基礎模型，從而創(chuàng)建自有的 Instruct 模型或獎勵模型。

論文地址：https://d1qx31qr3h6wln.cloudfront.net/publications/Nemotron_4_340B_8T_0.pdf

方法介紹

Nemotron-4-340B-Base 模型架構(gòu)是一種標準的僅解碼器 Transformer 架構(gòu)，具有因果注意力掩碼、旋轉(zhuǎn)位置嵌入 (RoPE)、SentencePiece tokenizer 等。Nemotron-4-340B-Base 的超參數(shù)如表 1 所示。它有 94 億個嵌入?yún)?shù)和 3316 億個非嵌入?yún)?shù)。

下表為 Nemotron-4-340B-Base 模型的一些訓練細節(jié)，表中總結(jié)了批大小漸變的 3 個階段，包括每次迭代時間和模型 FLOP/s 利用率。

為了開發(fā)強大的獎勵模型，英偉達收集了一個包含 10k 人類偏好數(shù)據(jù)的數(shù)據(jù)集，稱為 HelpSteer2，并公開發(fā)布了這個數(shù)據(jù)集 。

數(shù)據(jù)集地址：https://huggingface.co/datasets/nvidia/HelpSteer2

回歸獎勵模型 Nemotron-4-340B-Reward 建立在 Nemotron-4-340B-Base 模型之上，并用新的獎勵頭替換最后的 softmax 層。這個頭是一個線性投影，它將最后一層的隱藏狀態(tài)映射到 HelpSteer 屬性（有用性、正確性、連貫性、復雜性、冗長性）的五維向量中。在推理過程中，這些屬性值可以通過加權(quán)和聚合為總體獎勵。這種獎勵模式為訓練 Nemotron-4-340B-Instruct 提供了堅實的基礎。

該研究發(fā)現(xiàn)這樣的模型在 RewardBench 上表現(xiàn)非常出色：

用 NeMo 微調(diào)，用 TensorRT-LLM 優(yōu)化推理

使用開源的 NVIDIA NeMo 和 NVIDIA TensorRT-LLM，開發(fā)者可以優(yōu)化他們的指導模型和獎勵模型的效率，從而生成合成數(shù)據(jù)并對響應進行評分。

所有 Nemotron-4 340B 模型都使用 TensorRT-LLM 進行了優(yōu)化，以利用張量并行性，這是一種模型并行性，其中單個權(quán)重矩陣在多個 GPU 和服務器上分割，從而實現(xiàn)大規(guī)模的高效推理。

Nemotron-4 340B Base 經(jīng)過 9 萬億個 token 的訓練，可以使用 NeMo 框架進行定制，以適應特定的用例或領(lǐng)域。這種微調(diào)過程受益于大量的預訓練數(shù)據(jù)，并為特定的下游任務提供更準確的輸出。

在這當中，NeMo 框架提供了多種定制方法，包括監(jiān)督微調(diào)和參數(shù)高效微調(diào)方法，如低秩自適應 (LoRA)。

為了提升模型質(zhì)量，開發(fā)者可以使用 NeMo Aligner 和由 Nemotron-4 340B Reward 注釋的數(shù)據(jù)集對其模型進行對齊。對齊是訓練大型語言模型的一個關(guān)鍵步驟，其中模型行為通過使用類似 RLHF 算法進行微調(diào)，以確保其輸出安全、準確、符合上下文且與其既定目標一致。 

 尋求企業(yè)級支持和生產(chǎn)環(huán)境安全的企業(yè)也可以通過云原生的 NVIDIA AI Enterprise 軟件平臺訪問 NeMo 和 TensorRT-LLM。該平臺為生成式 AI 基礎模型提供了加速和高效的運行時環(huán)境。 

評測數(shù)據(jù)

圖 1 突出顯示了 Nemotron-4 340B 模型家族在選定任務中的準確性。具體來說：

Nemotron-4-340B-Base 在 ARC-Challenge、MMLU 和 BigBench Hard 基準等常識推理任務上與 Llama-3 70B、Mixtral 8x22B 和 Qwen-2 72B 等開放訪問基礎模型相媲美。

在指令遵循和聊天功能方面，Nemotron-4-340B-Instruct 超越了相應的指令模型。Nemotron-4-340B Reward 在 RewardBench 上實現(xiàn)了最高準確率，甚至超越了 GPT-4o-0513 和 Gemini 1.5 Pro-0514 等專有模型。

在 Nemotron-4-340B 推出后，評測平臺立即放出了它的基準成績，可見在 Arena-Hard-Auto 等硬基準測試中它的成績超越了 Llama-3-70b

這是否意味著，新的業(yè)界最強大模型已經(jīng)出現(xiàn)？