Agent Model: Nemotron - Data Recipe

内容很多，对于大部分产业实践来讲，Data Recipe 上的思考大差不差，里面开源了很多 Pipeline 还有不同 Stage 里 Data 设计的思路，非常值得借鉴和学习。 Link: Nemotron

Data Library

这里是 Nemotron 里各模型共用的 Data 处理逻辑。

Pretraining

Pretraining 对于不同数据源都有类似的 Pipeline。其中包括预训练数据处理和样本的前置处理：

1. 数据来源：Common Crawl / Github / PDF / HF datasets / 内部数据

2. 抽取 -> 清洗 -> 去重 -> 质量分类 -> 合成/改写

这里以 Nemotron-CC 的 Web 文本预训练生产 Pipeline 为例:

1. Common Crawl 后 -> 使用 JustText 进行正文抽取
2. FastText 做语言识别，清除掉 perplexity 较大的的数据（最低置信度 0.3）
3. Exact Document Dedup（通过正文/url 的 MD5 来实现去重）
4. MinHash/LSH fuzzy Dedup（之前提到过的 MinHashLSH 算法，默认使用 char 24-gram, 20 bands，每个 band 13 个 hash，按 5 bands 来做去重）
   • 可以参考：https://www.liaojiayi.com/blog/llm-text-dedup
5. Exact Substring Dedup，这里使用 Google 的 deduplicate-text-datasets（一种近似去重的方式，前缀匹配重复度），按 100GB/chunk 来处理
6. 质量分类：用 FineWebNemotronEdu、FinWebMixtraEdu、fasttext-oh-eli5 三个 classifier，按 5-95 percentile 划成 20 个 bucket，做一个质量分；（这里面的模型有开源和 fine-tune 后的，可以看看 fineweb-edu-classifier 的 recipe）
7. 对高质量数据做 SDG(Synthetic Data Generation)，只取上面的 18/19 最高质量的数据，产出 Diverse-QA 数据、Knowledge 等，同时利用 Teacher 模型如 Qwen3-30B-A3B；

3. nemotro.data_prep（样本预处理）

流程：Plan -> Download -> Tokenize / Pack / JSONL shard，这个流程本不需要这么复杂，甚至可以 offload 一些计算逻辑到 Torch 的 DataLoader 里，但实际上考虑到海量数据的训练效率（减少 GPU 等待），很多公司会这样做。（如字节：Teaching the Old Dog New Tricks: Building Efficient Data Pipelines for Large-Scale LLM Pre-Training (Operational Systems) ）

• Plan: 根据训练策略对原始数据做 shard 划分，等于提前做好数据分片;
• Download: 根据分片下载（这里主要是为了 HF 的 Dataset）
• Tokenize / Pack / JSONL shard
  • 这里直接把数据做 tokenize 后，存到 .bin(token 后的二进制文件) 和 .idx(每个 row 的 index)，训练时如果要做随机读就直接定位到对应数据，最后输出一个 blend.json，示例：

1
{
2
  "datasets": [
3
    {
4
      "name": "my-dataset",
5
      "path": "hf://org/dataset",
6
      "subset": "config-name",
7
      "split": "train",
8
      "weight": 2.0
9
    }
10
  ]
11
}

4. Megatron-Bridge: 训练时混读数据，固定长度取样，rollout

Model Data Recipe

接下来介绍各个模型的具体 Data Recipe。

注：B = 10 亿参数；A 表示每个 token 激活的参数量。型号数字采用取整标称，例如 Nano 的官方模型卡实际列出约 3.5B 激活参数。

Nemotron 3 Nano 30B-A3B

Pretraining

数据总共用了 25T tokens，分为两段:

• Phase 1: 23.5T，主要强调来源和多样性
• Pase 2: 1.5T，提供 high-quality、high-quality synthetic、STEM/专项数据、去除低质量 Web

NVIDIA 自己的数据家族介绍:

Mid-Training / SFT

• Long-Context Mid-Training: 在主要的 Pretraining 后用 121B tokens 将上下文拓展到 1M，目的不是再做一次广泛知识学习，而是让 Model 适应超长输入、同时用高质量短数据做数据配比防止 drift。

• SFT: SFT 里主要涵盖的是下游应用层面上的各种子任务，比如 Math、Code、STEM QA、Tool Use 等，利用高质量数据一次性教会 Pretraining 基础模型之上的各种能力，方便后续做 RL。

RL

完整方法包括 3 类：

1. 多环境 RLVR/GRPO: 一个 Batch 在 6 个环境里训练，math_with_judge、code_gen、mcqa、instruction_following、workplace_assistant、structured_outputs_json。不同环境分别用标砖答案 judge、选项匹配、约束验证、任务完成度等作为 reward;
2. GenRM RLHF: 每 prompt 16 responses、circular comparison，把 O(N^2) 两两比较复杂度降到 O(N)，加上 length 和 format 的惩罚;
3. DPO for tool hallucination：用 perference pair 降低不需要的工具调用，RL 主链之后做专项行为修正;

除此之外，还对 10% 的样本做了 strip reasoning（去除 reasoning），3% 的 reasoning traces 做了随机的 budget 预算截断，训练模型即使在 reasoning 关闭、或者是 token budget 有限的时候，还能保持一个正常状态。（也不是所有的数据都需要以 long thinking 为目标）

Nemotron 3.5 Lightning 30B-A3B

NVIDIA Nemotron 3.5 Lightning Delivers Fast, Accurate Specialized Task Execution for Long-Running Agents

• 这是 NVIDIA 推出的专门给 Long-Running Agent 的模型

Pretraining

Text 数据沿用了 Nano 的几个大数据集，以及 “先多样性，后高质量“的搞法。整体还是和 Nano 比较类似的。

RL

Agent 部分要重点看 RL，首先和 Nano 相同点是 GRPO、GenRM 和 DPO 的 Recipe 类似，不同点在于：

Agentic Terminal Pivot

这是一种把长程轨迹切成许多”中间决策点训练样本“的数据构造形式，NVIDIA 的数据集可以参考 Agentic-Terminal-Pivot, 他的数据主要是 Terminal 相关任务（类似 Terminal-Bench），然后用 GLM-5.1 生成轨迹，再将有效 assistant 回合拆成多条样本。

示例:

完整轨迹：
任务 → 查看目录 → 阅读代码 → 运行测试 → 修改代码 → 验证成功

截取决策点：
输入：任务 + 查看目录的历史及结果
参考：阅读代码

输入：任务 + 此前历史 + 测试失败信息
参考：修改代码

输入：任务 + 此前历史 + 修改结果
参考：运行测试

PTQ(Post-Training Quantization) + QAD(Quantization-Aware Distillation)

流程图:

已经训练好的 BF16 模型
          │
          ├──────────────────────────┐
          ↓                          ↓
     PTQ：低精度量化            保留 BF16 教师
          ↓                     冻结参数
     量化后的学生                    │
          │                          │
          └──── QAD：对齐输出分布 ────┘
                         ↓
                 导出低精度模型

Nemotron 3 Super 120B-A12B

Super 的定位是一个大型模型，用于复杂场景。(多 Agent 协作、企业流程自动化、IT 工单处理、复杂代码任务与多步骤工具调用)

Pretraining

预训练的 Token 量同样是 25T（和 Nano 一样，但是模型 size 从 30B -> 120B），所以我们要来重点看下数据的配比情况。

可以看到，主要差别在于 Phase2 的 5T 数据，明显要高于 Nano 的 1.5T 数据，所以我们来看一下 Phase2 的数据差异:

注意这里不是所有高质量数据都加权，部分 synthesis data 权重反而下降，预算给了 FinePDF 和专业数据，说明 Phase2 的目标是改善最终能力分布，而不是单一 quality score 最大化。

Long-Context Mid-Training

在 Phase 2 的基础上加入 Nemotron-Pretraining-Long-Context-v1(这个数据集现在找不到了)，占比 20%，另外 80% 是 P2 的高质量数据。

• Stage 1: 34B tokens，1M context
• Stage 2: 17B tokens, 1M context 到 4K context 互相切换，目的是修复 1M context 训练造成的 Math 相关 Benchmark 回退（由此可见 Benchmark 是多么的重要）

SFT

SFT 的数据是在 Nano 数据集基础上进行改进：

1. 复用：Chat、InfiniByte、formal proofs
2. 换 Teacher Model 重建：竞赛数学题、多语言、工具调用，使用 DeepSeek-v3.2/Kimi K2 等
3. 新增：SWE、搜索、Terminal、Long Context 等

RL

Super 专注长程任务，对于 RL 会比 Lightening 更加严格和复杂，有严格的 6 段 curriculum:

1
SFT
2
|
3
RLVR1 -> RLVR2 -> RLVR3
4
|
5
SWE1 -> SWE2
6
|
7
GenRM RLHF

• RLVR1-3: 有 21 个 reward environment 和 37 个 dataset，先过滤掉太容易的 prompt（用 SFT checkpoint 执行后如果通过率太高就干掉），再由易到难切换 blend.json，训练 math/code/MCQA/instruction following/tool/structured output，并且加入 low-effort reasoning（禁止没必要 reasoning 的时候 thinking 太多！）
• SWE1: 较为通用的 software-engineering pivot，让模型熟悉 repo 浏览、编辑、执行、测试闭环等
• SWE2: 面向 SWE benchmark 的 sandbox 和完整的执行，用真正的执行结果来做 RL
  • 这也是和 Lightening 相比的好处，有 e2e 的软件开发 RL（Lightening 更多是分步的学习，任务较简单）
• RLHF: GenRM circular comparison + KL/length control，修正风格和长度等格式问题

Nemotron 3 Ultra 550B-A55B 的 RL 进一步强化

这里专门讲一下另一个更大模型(Nemotron 3 Ultra 550B-A55B)在 RL 的优化：

Ultra 增加了 MOPD，多教师在线策略蒸馏：

• 训练 十多个领域专用教师。
• Ultra 自己生成回答或动作轨迹。（这里是和蒸馏的本质区别，让 student 自己 rollout 然后靠近 teacher model）
• 对应教师提供 token 级指导。
• 进行两轮教师与学生的迭代训练。

Nemotron 3 Nano Omni

这是 Omni 的全模态模型，也挺有意思(详见 https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3-Omni-report.pdf)。涉及到多个模态的对齐，每个模态的训练都可能会导致其他模态能力下降，训练过程还是挺复杂的:

已有语言模型 + 已有视觉编码器 + 已有音频编码器
  → 视觉投影器对齐
  → 视觉与语言联合 SFT
  → 音频投影器对齐
  → 音频编码器与投影器训练
  → 16K 全模态联合 SFT
  → 48K 长音视频联合 SFT
  → 256K 长文档 SFT
  → MPO → Text RL 1 → Image RL → Omni RL → Text RL 2

Pretraining

• Stage0: 训 Vision Projector，先固定主干与编码器，让视觉投影器学习怎样把图像特征映射到语言模型的输入空间
• Stage1: 扩大训练范围，开始学习视觉问答、文档、图表、GUI 和视觉推理
• Stage2: 使用 Granary v1.1 ASR 数据对齐音频投影器
• Stage3: Stage 3 解冻音频编码器，扩展四类音频任务
• Stage4: 全参数训练，任务横跨视觉、文本、音频、视频、音视频联合问答和安全。按论文 Table 3 的 token 比例，视觉占 53.4%，一般音频占 16.9%，短视频占 11.0%，文本占 6.1%；其余包括推理、ASR、Omni 和安全数据
• Stage5: Context 扩到 48K，并降低短样本比重
• Stage6: 专攻长文本的 Long Context，这个和上面 LLM 就没有区别

RL

Omni 的 RL 顺序:

1. MPO preference optimization: OpenGVLab/MMPR，先校正视觉回答质量与偏好；

• OpenGLLab/MMPR 是「多模态推理偏好」数据集，
• MPO 是 Mixed Preference Optimization，其中包括了 DPO 和 BCO(Binary Classifier Optimization，让回答有好坏标签)

2. Text RL: 复用 Nano 的 RL Blend；
3. Vision RL: OpenGVLab/MMPR-Tiny，使用可验证的视觉任务提升模型 Grounding 能力；

• 如 看图作答的任务