TeamDelta/Nemotron-Cascade-2-RL-reproduction

该数据集是一个用于重新构建Nemotron-Cascade-2模型强化学习（RL）数据的包，名为“Nemotron-Cascade-2 RL — Unified Reconstruction Recipe & Schema Sample”。它包含一个统一的数据模式，将公开的Nemotron数据集（如nvidia/Nemotron-Cascade-2-RL-data、Nano-v3/Super-v3混合数据）以及个别RL数据标准化，以支持Cascade RL的七个阶段：指令遵循RL（IF-RL）、多领域RL（Multi-domain RL）、多领域策略蒸馏（MOPD）、人类偏好对齐RL（RLHF）、长上下文RL（Long-context RL）、代码RL（Code RL）和软件工程RL（SWE RL）。包中提供的train.jsonl文件是合成样本，包含52行数据，用于下游加载器和预处理流程的验证，而非真实训练数据。真实数据需要通过附带的Python脚本（build_cascade2_rl_data.py）以完整模式（--mode full）从HuggingFace获取原始数据集并应用重建方法生成。该包旨在解决Nemotron-Cascade-2论文中未公开的RL数据部分，提供可复现的数据处理流程，包括数据获取、重新标准化、过滤和课程排序。数据集支持英语，结构基于JSONL格式，每个数据实例包含ID、阶段、领域、消息、奖励、真实标签等字段。This dataset is a package for reconstructing the reinforcement learning (RL) data of the Nemotron-Cascade-2 model, titled Nemotron-Cascade-2 RL — Unified Reconstruction Recipe & Schema Sample. It features a unified schema that normalizes publicly available Nemotron datasets (such as nvidia/Nemotron-Cascade-2-RL-data, Nano-v3/Super-v3 blends) and individual RL data to support the seven stages of Cascade RL: instruction-following RL (IF-RL), multi-domain RL, multi-domain on-policy distillation (MOPD), human preference alignment RL (RLHF), long-context RL, code RL, and software engineering RL (SWE RL). The included train.jsonl file is a synthetic sample with 52 entries, intended for verifying downstream loader and preprocessing workflows, not for actual training. Real training data must be generated using the provided Python script (build_cascade2_rl_data.py) in full mode (--mode full), which fetches original datasets from HuggingFace and applies the reconstruction recipe. The package addresses the unreleased RL data portions in the Nemotron-Cascade-2 paper, offering a reproducible pipeline for data acquisition, re-normalization, filtering, and curriculum ordering. The dataset is in English, structured in JSONL format, with each instance containing fields like ID, stage, domain, messages, reward, ground truth, and more.

搜集汇总

数据集介绍

构建方式

Nemotron-Cascade-2-RL-reproduction数据集采用了一种统一的再构建谱系与模式样本策略，旨在复现Nemotron-Cascade-2论文中描述的七阶段级联强化学习（Cascade RL）流程。该数据集通过一个名为`build_cascade2_rl_data.py`的构建器脚本，从公开的Nemotron系列数据源（如`nvidia/Nemotron-Cascade-2-RL-data`、`nvidia/Nemotron-RLHF-GenRM-v1`等）中提取并标准化数据，将其整合为一个统一的JSON架构。构建过程包括多领域数据的重新规范化（例如将multi-domain RL按55/30/15比例混合）、通过通过率（pass_rate）对代码RL进行过滤，以及按课程学习顺序（从易到难）排列各阶段数据。最终，所有七个RL阶段的数据被合并至单个`train.jsonl`文件中，并可通过`stage`字段进行筛选，以支持分阶段训练。数据集本身包含的52行样本为合成数据，仅供模式验证之用，真实数据需通过`--mode full`命令完整生成。

特点

该数据集的核心特点在于其高度结构化的统一架构，能够清晰区分七个不同的RL阶段（如IF-RL、Multi-domain RL、Code RL等），每个阶段均对应特定的任务类型和奖励机制。数据集使用详细的元数据字段（如`stage`、`domain`、`reward`、`rollout`等）来描述每条样本的上下文、验证规则和采样参数，从而支持细粒度的训练控制。特别地，每个样本的`ground_truth`字段根据阶段类型动态变化，例如在代码RL中包含单元测试，而在SWE RL中包含修复补丁，这体现了数据集对异构任务的兼容性。此外，数据集设计包含`curriculum.pass_rate`字段，允许按难度顺序排列样本，这与论文中采用的课程学习策略一致，增强了训练过程的可控性。

使用方法

使用该数据集时，首先需要通过`datasets`库加载`train.jsonl`文件，并使用`filter`方法按`stage`字段筛选特定RL阶段的子集，例如`ds.filter(lambda r: r['stage'] == 'code_rl')`。由于数据集中包含复杂的嵌套结构（如`tools`和`ground_truth`字段在不同阶段呈现不同模式），建议使用`json`加载器或`streaming=True`模式以避免自动Parquet转换失败。对于完整数据构建，需运行`build_cascade2_rl_data.py`脚本并指定`--mode full`参数，这会自动从HuggingFace Hub下载相应数据集，应用预设的过滤和规范化逻辑，并生成最终的JSON文件。需要注意的是，长期上下文RL阶段因缺乏公开数据而被跳过，需要用户自行构建补充。训练时应根据`rollout`字段中的采样参数（如温度、采样数n）调整生成策略，并确保各阶段的奖励模型（如GenRM、LLM-judge）已正确配置。

背景与挑战

背景概述

Nemotron-Cascade-2-RL-reproduction数据集由社区基于NVIDIA于2026年发布的Nemotron-Cascade-2论文（arXiv:2603.19220）重构而来，旨在复现其七阶段级联强化学习（Cascade RL）流程。该数据集以统一模式整合了公开的Nemotron系列数据，涵盖了从指令遵循到软件工程修复（SWE）的多样任务，为研究基于规则验证、生成式奖励模型（GenRM）及长上下文强化学习对大型语言模型进行后训练提供了标准化数据基础。其工作体现了对开放科学和可复现性的追求，推动了强化学习在语言模型对齐与推理能力提升领域的系统性研究。

当前挑战

该数据集面临的核心挑战包括：一是原始论文对RLHF混合比例、长上下文数据来源等关键细节未充分公开，导致数据重构存在不确定性，尤其是长上下文阶段因无公开数据而需完全自建，可能与原文行为产生偏差；二是构建过程中需处理异构嵌套JSON结构的统一化（如不同阶段的ground_truth格式各异），以及需要确保各阶段数据按通过率排序以支持课程学习；三是依赖外部模型（如GenRM、LLM-judge）和中间检查点，用户需自行准备等效组件才能完整复现，增加了使用门槛。

常用场景

经典使用场景

Nemotron-Cascade-2-RL-reproduction数据集的核心价值在于为大语言模型的后训练阶段提供了一套完整的强化学习数据重建蓝图，其最经典的用途是复现Nemotron-Cascade-2论文中描述的七阶段级联强化学习流程。该数据集通过统一的数据模式（schema），将指令遵循、多领域强化学习、多领域在线策略蒸馏、基于人类反馈的强化学习、长上下文推理、代码生成以及软件工程修复等七个RL阶段的训练数据整合到单一格式中，使得研究人员能够利用公开的Nemotron系列数据源，系统性地重建并验证级联RL策略对模型推理能力和指令遵循能力的渐进式提升效果。

实际应用

在实际研发中，该数据集直接服务于需要构建多阶段强化学习训练流程的AI研究机构和企业，特别是那些致力于提升大模型在复杂指令遵循、长文档推理和自主软件工程任务中表现的技术团队。其统一的数据加载接口和阶段化的过滤机制，使得工程师能够高效地为每个RL阶段准备专用的训练数据，并依据通过率（pass rate）课程安排任务的难易顺序。此外，该数据集附带的构建脚本支持从HuggingFace在线获取真实数据或生成离线样本，极大降低了部署成本，加速了从算法设计到模型训练验证的研发迭代。

衍生相关工作

基于该数据集重建工作的理念与方法，后续研究可延伸出多项经典工作。在数据重建方法论上，其统一模式与源数据映射策略可以推广至其他使用混合数据源的强化学习后训练流程，形成通用的级联RL数据管道。在模型评估方面，其按阶段划分的ground truth设计促进了针对代码正确性、指令从性和偏好对齐等不同维度的细粒度评测基准开发。更重要的是，该数据集揭示了长上下文RL阶段数据公开缺失的关键瓶颈，这直接推动了围绕合成数据生成和长文本偏好标注的自监督方法研究，例如利用LLM裁判模型生成密集上下文奖励信号的工作，从而延伸出数据增强与奖励模型校准相结合的学术新方向。