Nemotron-RL-Science-v1

Nemotron-RL-Science-v1 是一个用于科学推理的强化学习（RL）数据集，由 NVIDIA Corporation 创建并发布。该数据集旨在支持训练具有可验证奖励的策略模型，特别适用于提升大语言模型在科学领域的推理和问题解决能力。内容涵盖物理学、生物学和化学三个核心 STEM 领域，问题形式为开放式问答。每个样本不仅包含问题文本和参考答案，还提供了完整的可验证 RL 环境配置，包括智能体提示词、工具定义、智能体/验证器参考以及用于从模型响应中提取最终答案的正则表达式模板。数据集包含两种推理生成设置：一是无需外部工具的链式推理，二是允许使用 Python 工具进行问题求解。答案的正确性通过一个等效的 LLM 评判器来验证，该评判器会比较策略模型提取的答案与参考答案。数据集包含一个名为 SO OpenQ 的子集，该子集包含 150,644 条数据记录（总计约 0.25 GB），这些开放式问题衍生自 Stack Exchange 平台。数据以 JSONL 格式存储，每条记录包含唯一标识符、问题、预期答案、RL rollout 参数、智能体引用、答案提取模板、验证器类型、问题类型、元数据（如主题、子主题及 Stack Exchange 的归属信息）和许可证等字段。根据统计，数据在领域上以物理学为主，在生成方式上，使用 Python 工具和纯链式推理的样本数量大致相当。数据集采用 CC BY-SA 4.0 许可证，允许商业和非商业用途，主要面向从事强化学习与大语言模型结合研究的工程师和团队。

Nemotron-RL-Science-v1 is a reinforcement learning (RL) dataset for scientific reasoning, created and released by NVIDIA Corporation. It is designed to support training policy models with verifiable rewards, particularly for enhancing the reasoning and problem-solving abilities of large language models in scientific domains. The dataset covers three core STEM fields: physics, biology, and chemistry, with questions in an open-ended Q&A format. Each sample includes not only the question text and reference answer but also a complete verifiable RL environment configuration, including agent prompts, tool definitions, agent/validator references, and regex templates for extracting final answers from model responses. The dataset features two different reasoning generation settings: one is chain-of-thought reasoning without external tools, and the other allows problem-solving using Python tools. Answer correctness is verified by an equivalent LLM judge that compares the policy models extracted answer with the reference answer. The dataset includes a subset named SO OpenQ, which contains 150,644 data records (approximately 0.25 GB in total), derived from open-ended questions on the Stack Exchange platform. Data is stored in JSONL format, with each record containing fields such as a unique identifier, question, expected answer, RL rollout parameters, agent reference, answer extraction template, validator type, question type, metadata (e.g., topic, subtopic, and Stack Exchange attribution), and license. According to statistics, the data is predominantly in the physics domain, and the number of samples using Python tools versus pure chain-of-thought reasoning is roughly balanced. The dataset uses the CC BY-SA 4.0 license, permitting both commercial and non-commercial use, and is primarily targeted at engineers and teams engaged in research combining reinforcement learning with large language models.

原始信息汇总

数据集概述

名称: Nemotron-RL-Science-v1
发布方: NVIDIA Corporation
创建日期: 2026年5月13日
许可证: CC BY-SA 4.0
语言: 英语
任务类别: 文本生成
标签: physics, biology, chemistry, STEM, science, reinforcement-learning, RL, text, Nemotron_3_Ultra, blend

数据集描述

Nemotron-RL-Science-v1 是一个面向科学推理的强化学习（RL）数据集。每个样本包含一个问题、一个参考答案以及一个可验证的RL环境配置（包括智能体提示、智能体/验证器参考、答案提取模板），支持使用可验证奖励训练策略模型。数据集覆盖三个领域（物理、生物、化学）、开放问题（OpenQ）格式，以及两种生成方式：无工具的思维链推理和Python工具使用。答案通过等价性LLM裁判将策略模型的提取答案与参考答案进行比对来验证。

数据子集

本数据集包含一个子集：

• SO OpenQ: 源自Stack Exchange的开放问题，涵盖物理、生物和化学领域。

预期用途

本数据集适用于从事大型语言模型RL训练和开发的工程师与研究人员，旨在提升模型的科学推理和问题解决能力。适合在基于科学模型的开发流程中，结合可验证奖励进行RL训练。

数据特征

• 数据收集方法: 混合（合成 + 自动化）
• 标注方法: 自动化
• 模态: 文本
• 格式: JSONL
• 结构: 文本 + 元数据

每条记录字段

字段	说明
uuid	唯一样本标识符
problem	问题文本
expected_answer	验证器使用的参考答案
responses_create_params	RL roll-out 的智能体提示（input）和工具（tools）
agent_ref	示例路由到的智能体/验证器（CoT使用equivalence_llm_judge_simple_agent，工具使用使用ns_tools_simple_agent）
template_metadata.output_regex	用于从策略模型输出中提取最终答案的正则表达式
verifier_type	用于奖励计算的验证器类型
question_type	固定为 open
metadata	包含领域（topic）、子领域（subtopic）及Stack Exchange归属信息（QuestionLink, QuestionOwnerLink, QuestionOwnerName, AnswerOwnerLink, AnswerOwnerName）
license	内容许可证（CC BY-SA 4.0）

数据量化

子集	行数	大小
SO OpenQ	150,644	0.25 GB
总计	150,644	0.25 GB

领域分布:

领域	行数
物理	121,216
化学	18,852
生物	10,576

生成方式分布:

方式	智能体	行数
Python工具使用	ns_tools_simple_agent	90,566
思维链（无工具）	equivalence_llm_judge_simple_agent	60,078

伦理考量

NVIDIA 认为可信AI是共同责任，已建立相关政策和实践以支持各类AI应用的开发。开发者应与内部团队协作，确保数据集满足特定行业与用例的需求，并防范产品误用。如发现质量、风险、安全漏洞或AI相关顾虑，请通过NVIDIA官方渠道报告。

搜集汇总

数据集介绍

构建方式

Nemotron-RL-Science-v1数据集专为科学推理领域的强化学习训练而构建，覆盖物理、生物与化学三大核心学科。该数据集采用自动化与合成相结合的方式采集数据，其开放式问题（OpenQ）子集源自Stack Exchange平台中涉及上述学科的高质量问答内容。每条数据均包含问题文本、参考答案、以及一套可验证的强化学习环境配置，包括智能体提示、验证器参考与答案提取正则表达式，从而使得策略模型能够基于可验证的奖励信号进行训练。

特点

该数据集的核心特色在于其设计精巧的验证机制，采用等价的LLM评判器对策略模型提取的最终答案与参考答案进行比对，从而提供客观的奖励信号。数据集涵盖了两种生成设置：一是不借助外部工具的思维链（CoT）推理，二是结合Python工具使用的生成方式，分别适配于不同的推理场景。数据总量达15万余条，其中物理学问题占据主导，超过12万条，而化学与生物学子集亦各具规模，为多学科科学推理提供了丰富的训练资源。

使用方法

该数据集以JSONL格式存储，每一条记录均包含完整的数据结构与元信息，便于直接用于强化学习训练流程。使用者需根据每条数据中指定的智能体类型（如equivalence_llm_judge_simple_agent或ns_tools_simple_agent）配置相应的生成与验证模块。在训练时，策略模型依据problem字段生成回答，随后通过output_regex正则表达式提取最终答案，并由verifier_type指定的验证器计算奖励。数据集附带Stack Exchange归属信息，适用于商业及非商业场景，开发者可依据CC BY-SA 4.0许可协议自由使用。

背景与挑战

背景概述

随着大语言模型在科学推理领域的应用日益广泛，如何通过强化学习提升模型在物理、生物和化学等学科中的问题解决能力成为研究热点。NVIDIA 于2026年5月13日发布了 Nemotron-RL-Science-v1 数据集，专为需可验证奖励的科学推理强化学习任务设计。该数据集涵盖三个核心科学领域，包含超过15万条开放式问题，每条样本均配备参考答案和可验证的强化学习环境配置。凭借其规模与结构化设计，该数据集为研究者提供了训练具备链式推理和工具使用能力模型的标准化基准，对推动科学推理大模型的进步具有重要影响力。

当前挑战

该数据集主要应对的领域挑战在于，通用语言模型在科学问题中常缺乏精确推理和可验证性，难以直接用于物理、化学等严谨学科。Nemotron-RL-Science-v1 通过引入等价性大语言模型裁判和正则表达式答案提取机制，实现了对模型输出的自动化验证，从而将强化学习与科学推理有效结合。构建过程中，数据来源于 Stack Exchange 社区，需从海量用户问答中筛选高质量样本，并完成领域标注、答案提取模板设计和工具调用配置等复杂流程。此外，跨学科分布不均衡（物理条目远超化学和生物）也为后续数据增强和模型泛化性研究带来了挑战。

常用场景

经典使用场景

Nemotron-RL-Science-v1数据集的核心应用场景在于为强化学习驱动的科学推理大语言模型提供高质量的验证性奖励训练数据。该数据集精心构建了涵盖物理、生物与化学三大基础科学领域的开放式问题，每个样本不仅包含问题与参考答案，还配备了完整的可验证强化学习环境配置，包括智能体提示、验证器参考和答案提取模板。通过链式思维推理与Python工具使用两种生成设置，研究者能够深入探索模型在不借助外部工具或借助计算工具时的科学推理能力提升路径。该数据集特别适合用于训练和评测大语言模型在科学问答任务上的表现，尤其聚焦于需要严谨逻辑推理和领域知识整合的复杂问题求解场景。

衍生相关工作

围绕Nemotron-RL-Science-v1数据集，学术界已衍生出多项具有影响力的研究工作。研究者基于该数据集的可验证奖励机制，开发了针对链式思维推理与工具增强推理的对比学习方法，深入分析了两种推理范式的优劣与适用边界。部分工作致力于优化验证器设计，通过引入多轮等价性判断和分层奖励机制，提升了模型在复杂科学问题上的泛化能力。此外，融合该数据集的跨学科特性，产生了面向物理—化学、生物—化学等交叉学科推理的统一框架，推动了科学推理模型的领域迁移研究。还有工作将其与合成数据生成技术相结合，探索了通过自改进迭代训练提升模型科学推理能力的有效路径，这些衍生研究共同推动了科学人工智能领域的纵深发展。

数据集最近研究

最新研究方向

当前，科学推理与强化学习的深度融合正引领大语言模型研究的前沿浪潮，而Nemotron-RL-Science-v1数据集恰逢其时地诞生于这一背景下。该数据集由NVIDIA于2026年推出，聚焦物理、生物和化学三大核心科学领域，提供了逾15万条开放式问答样本，并通过可验证的奖励机制与等价性LLM评判器，开创性地将链式思维推理与Python工具使用两种生成范式整合进同一科学强化学习框架中。其基于Stack Exchange社区的真实问题构建，不仅确保了数据的专业性与多样性，更为模型在复杂科学推理任务中的精细化训练奠定了基础。这一数据集的出现，意味着科学领域的大模型训练正从单纯的有监督微调迈向更为稳健的强化学习验证阶段，对于推动AI在科研辅助、教育辅导乃至前沿探索中的可信度与实用性具有里程碑式意义。