Nemotron-RL-QA-Abstention-v1

Nemotron-RL-QA-Abstention-v1是一个用于训练大型语言模型（LLMs）在不确定时进行“弃答”的多领域强化学习与可验证奖励（RLVR）数据集。该数据集专为弃答感知的RLVR环境设计，奖励机制衡量答案的正确性和适当的弃答行为，模型被期望在知道答案时回答事实性问题，并在不知道或需要更多上下文/工具时输出`oxed{[IDK]}`以避免幻觉。数据集结合了HotpotQA、Go标准库文档、维基百科医学文章和维基百科法律文章，具体包含450个HotpotQA示例、900个Go文档问答示例、900个健康维基百科问答示例和900个法律维基百科问答示例，总计3,150个样本。数据来源于公开基准、人工收集和合成生成（使用Nemotron-3-Super-120B模型生成并经过筛选和去重），此版本不包含CRAG Finance数据。数据集以JSONL格式存储，每条记录包含主要字段如`id`（源记录标识符）、`question`（用户问题）、`answer`（目标答案用于奖励评估）、`agent_ref`（Gym代理元数据）、`responses_create_params`（原始API参数）、`messages`（包含系统指令和用户问题的两轮对话）、`tools`（工具定义，本数据集为空）、`license`（许可证元数据）、`uuid`（标准化UUID）、`metadata`（元数据对象）以及可选的`domain`和`source`（源领域元数据）。系统消息指示模型仅以`oxed{answer}`格式输出答案，或在不知道时输出`oxed{[IDK]}`。数据集适用于弃答感知的事实性问答RLVR训练、多领域问答训练（涵盖HotpotQA、软件工程、健康和法律领域），以及通过奖励可靠弃答行为来减少模型幻觉。数据集总大小为1.7MB，采用CC BY 4.0许可证，由NVIDIA Corporation创建，可用于商业或非商业用途。Nemotron-RL-QA-Abstention-v1 is a multi-domain reinforcement learning with verifiable reward (RLVR) dataset developed for training large language models (LLMs) to abstain from answering when uncertain. This dataset is specifically designed for abstention-aware RLVR environments, where the reward mechanism evaluates both the correctness of generated answers and appropriate abstention behavior. Models are expected to respond to factual questions with correct answers when confident, and output oxed{[IDK]} when unaware of the answer or requiring additional context or tools to mitigate hallucinations. The dataset is compiled from HotpotQA, Go standard library documentation, Wikipedia medical articles, and Wikipedia legal articles, consisting of 450 HotpotQA examples, 900 Go documentation Q&A pairs, 900 health-focused Wikipedia Q&A pairs, and 900 legal-focused Wikipedia Q&A pairs, totaling 3,150 samples. The dataset's data originates from public benchmarks, manually collected materials, and synthetic content generated using the Nemotron-3-Super-120B model, followed by filtering and deduplication steps. This version excludes CRAG Finance data. The dataset is stored in JSONL format, with each record containing core fields such as `id` (source record identifier), `question` (user's query), `answer` (target answer for reward evaluation), `agent_ref` (Gym agent metadata), `responses_create_params` (original API parameters), `messages` (two-turn dialogue comprising system instructions and user questions), `tools` (tool definitions, empty for this dataset), `license` (license metadata), `uuid` (standardized UUID), `metadata` (metadata object), as well as optional fields `domain` and `source` (source domain metadata). The system message instructs the model to only output responses in the format oxed{answer}, or oxed{[IDK]} when the answer is unknown. This dataset is suitable for abstention-aware factual Q&A RLVR training, multi-domain Q&A training covering HotpotQA, software engineering, health, and legal domains, as well as reducing model hallucinations by rewarding reliable abstention behavior. The total size of the dataset is 1.7 MB. It is released under the CC BY 4.0 license, created by NVIDIA Corporation, and permits both commercial and non-commercial usage.

原始信息汇总

数据集名称: Nemotron-RL-QA-Abstention-v1

数据集所有者: NVIDIA Corporation

许可证: Creative Commons Attribution 4.0 International (CC BY 4.0)

语言: 英语 (en)

任务类别: 强化学习、问答、文本生成

标签: 弃权、问答、HotpotQA、软件工程、健康、法律、RL、RLVR、文本、合成、人工收集、自动化、Nemotron_3_Ultra

领域: 多领域问答、弃权

模态: 文本

能力构成: 弃权感知的事实性问答 [100%]

数据来源: 混合型：自动化、人工收集、合成

数据规模: <10K 条样本

关联模型发布: Nemotron Ultra

数据集创建与修改日期: 2026年4月9日

版本: Nemotron-RL-QA-Abstention-v1

数据集描述: Nemotron-RL-QA-Abstention-v1 是一个多领域强化学习与可验证奖励（RLVR）数据集，旨在训练大语言模型在不确定时进行弃权。它适用于弃权感知的RLVR环境，其中奖励衡量答案的正确性和适当的弃权行为。模型应在其知晓答案时回答事实性问题，并在不知道答案或需要更多上下文/工具时输出 oxed{[IDK]}，而不是编造答案。

预期用途:

• 在可验证奖励的强化学习（RLVR）中训练大语言模型进行弃权感知的事实性问答。
• 训练模型在自信时以 oxed{answer} 格式回答。
• 训练模型在不确定时输出 oxed{[IDK]} 而不是猜测。
• 跨 HotpotQA、软件工程、健康和法律的跨领域问答训练。
• 通过奖励在问题无法可靠回答时的弃权行为来减少幻觉。

数据集构成与生成:

• 问题来源:
  • HotpotQA 公开基准示例
  • Go 标准库文档示例
  • 来自 Wikipedia 医学文章的健康问答示例
  • 来自 Wikipedia 法律文章的法律问答示例
  • （注：CRAG 金融数据未包含在此版本中）
• 筛选与处理:
  • 收集源文档，将长文档分割成约800个token的段落。
  • 每个段落传递给 Nemotron-3-Super-120B 以生成六个接地的事实性问答对。
  • 生成的问答对根据答案长度、问题格式和 oxed{answer} 有效性进行过滤。
  • 使用3-gram Jaccard相似度（阈值为0.3）对AA-Omniscience评估集进行问题去重。
  • 训练文件不包含助理回复；记录是用于在线强化学习推演的系统/用户输入。

数据字段: 数据文件为 JSONL 格式，每个记录包含以下顶级字段：

• id: 源记录标识符
• question: 面向用户的问题
• answer: 用于比较和奖励评估的目标答案
• agent_ref: Gym 智能体参考元数据
• responses_create_params: 原始 Responses API 参数，包括系统/用户输入
• messages: 包含系统指令和用户问题的两轮对话
• tools: 记录的工具定义；此数据集为空
• license: 发布许可证元数据
• uuid: 标准化的记录 UUID，与 id 匹配
• metadata: 包含 uuid 的元数据对象
• domain 和 source: 当存在时的源领域元数据

数据量化:

组成部分	样本数
HotpotQA	450
Go 文档问答	900
健康 Wikipedia 问答	900
法律 Wikipedia 问答	900
总计	3,150
硬盘总大小：1.7MB

伦理考量: NVIDIA 认为可信赖的人工智能是一项共同责任，并已制定相关政策与实践以支持各种人工智能应用的开发。开发者应与其内部开发团队协作，确保此数据集满足相关行业和使用案例的要求，并解决未预见的产品滥用问题。

搜集汇总

数据集介绍

构建方式

Nemotron-RL-QA-Abstention-v1 数据集由 NVIDIA 精心构建，旨在为强化学习中的可验证奖励（RLVR）环境提供多领域问答样本，以训练大语言模型在不确定时选择弃权而非幻觉。其构建过程采用自动化、人工收集与合成数据相结合的混合方法：首先从 HotpotQA、Go 标准库文档、维基百科医学文章及法律文章中采集原始文本，将长文档切分为约 800 个令牌的段落，随后使用 Nemotron-3-Super-120B 模型为每个段落生成六组基于事实的问答对，再通过答案长度、问题格式及框定答案有效性进行规则过滤，最终利用三元组 Jaccard 相似度（阈值为 0.3）对问题进行去重，确保与 AA-Omniscience 评估集无重叠。

使用方法

使用 Nemotron-RL-QA-Abstention-v1 时，开发者需将其加载为 JSONL 格式的训练数据，每条记录包含 messages 字段（系统指令与用户问题）、answer 字段（目标答案）及工具定义等元信息。在 RLVR 训练流程中，模型在线生成回答，奖励函数同时评估答案正确性与弃权行为的恰当性：当模型生成 \boxed{answer} 且内容与目标答案一致时获得正奖励，当模型在不确定时输出 \boxed{[IDK]} 亦获得奖励，反之则受到惩罚。建议将数据集与支持 Gym 格式的强化学习框架配合使用，通过读取 data/train.jsonl 文件中的 default 配置分割进行训练，无需额外预处理即可直接投入在线策略优化。

背景与挑战

背景概述

在大型语言模型（LLM）快速演进的浪潮中，如何有效遏制模型在不确定情境下产生幻觉（hallucination）成为一项核心挑战。为此，NVIDIA公司于2026年4月发布了Nemotron-RL-QA-Abstention-v1数据集，旨在为强化学习与可验证奖励（RLVR）框架提供训练素材，培养模型在事实性问答中具备“拒绝回答”的能力——当模型不确定答案时，应输出`\boxed{[IDK]}`而非捏造信息。该数据集融合了HotpotQA公开基准、Go标准库文档、维基百科医学与法律文章四个领域，共计3150条样本，覆盖软件工程、健康和法律等专业场景，为多领域问答中的不确定性问题提供了系统性的训练资源。其发布不仅拓展了RLVR训练在拒绝回答场景下的应用边界，也对提升LLM在关键领域中的可信度和安全性产生了重要影响。

当前挑战

该数据集旨在解决的核心领域问题在于：传统问答模型缺乏对自身知识边界的判断机制，倾向于对任何问题给出确定回答，从而在缺乏信息或工具支持时产生严重幻觉。构建过程中，团队面临多重挑战：如何从海量长文档中精准提取约800token的文段并生成忠实于原文的事实性问题；如何利用Nemotron-3-Super-120B模型自动生成六组QA对并通过严格的格式与长度过滤确保数据质量；如何在剔除CRAG Finance等早期来源后维持领域多样性，并通过3-gram Jaccard相似度阈值去重避免与评估集重叠。此外，数据全流程采用混合采集模式（自动、人工与合成），要求在保证规模的同时兼顾标注一致性与领域覆盖面，这对质量控制与迭代效率提出了较高要求。

常用场景

经典使用场景

Nemotron-RL-QA-Abstention-v1 数据集经典地应用于基于可验证奖励的强化学习（RLVR）范式，旨在训练大型语言模型在面对不确定性问题时学会“拒绝回答”。该数据集精心构建了涵盖热门的 HotpotQA 多步推理问答、Go 编程语言标准库文档、维基百科医学和法学等多个专业领域的问答对。在训练过程中，模型被要求对确信的答案以 `\boxed{answer}` 格式输出，而对无法回答或需要更多上下文的问题则必须输出 `\boxed{[IDK]}`。这种设计直接针对了大型语言模型在开放域问答中常见的“幻觉”问题，通过奖励机制引导模型生成诚实且可靠的回应，而非盲目猜测。

解决学术问题

该数据集核心解决了大型语言模型在复杂知识问答中的确定性评估与不确定性表达这一前沿学术难题。长期以来，语言模型在知识边界模糊时倾向于生成似是而非的虚假内容，即“幻觉”，这严重损害了其在事实密集型任务中的可信度。Nemotron-RL-QA-Abstention-v1 通过引入“弃权”（Abstention）机制，将模型对自身知识状态的判断转化为可学习的奖励信号。这为在强化学习框架下量化模型的不确定性、并以此约束生成过程提供了标准化的训练与评估基准，推动了可信赖人工智能领域的发展，使模型不仅追求正确性，更追求诚实性。

实际应用

在实际应用中，该数据集打磨出的模型能力在法律咨询、医疗问诊、软件工程辅助等高风险领域展现出巨大价值。例如，在医疗健康场景下，患者提出的症状相关问题可能超出模型知识范围，具备弃权能力的系统会坦诚地表示“不知道”而非提供可能致命的错误建议。同样，在法律文件解读或代码调试场景中，模型能够精准识别自身知识盲区并主动请求人类介入或查询工具，从而避免误判。这种“知之为知之，不知为不知”的交互模式显著提升了AI助手的可靠性，使其更适合部署于需要高度审慎和专业性的行业环境中。

数据集最近研究

最新研究方向

在多领域事实性问答任务中，大型语言模型的不确定性表达与拒绝回答机制正成为强化学习与可信AI交叉领域的前沿热点。Nemotron-RL-QA-Abstention-v1数据集聚焦于通过可验证奖励的强化学习框架，引导模型在缺乏足够知识或上下文时输出明确的拒绝信号（如\boxed{[IDK]}），以有效遏制幻觉现象。该数据集融合了HotpotQA、软件工程、健康与法律等多源知识领域，共计3150条样本，采用合成与人工结合的混合生成策略，并由Nemotron-3-Super-120B进行质量过滤与去重。这一设计不仅推动了基于事实准确性与拒绝行为双维度奖励的RLVR训练范式发展，也为构建更可信、更鲁棒的AI问答系统提供了关键的基准支撑，尤其在医疗与法律等高风险场景中具有深远意义。