Nemotron-RL-ARC-AGI-v1

Nemotron-RL-ARC-AGI-v1是一个用于大型语言模型强化学习后训练的单步ARC-AGI谜题提示数据集。它包含两种任务变体：transductive要求模型直接以oxed{}格式输出解决方案网格；python_inductive要求模型输出一个Python transform(grid)函数，该函数在测试输入上执行（超时30秒）。两种变体使用相同的10,000个训练问题和514个验证问题，仅提示渲染和奖励提取逻辑不同。验证集是ARC-AGI-1评估集（400个问题）和ARC-AGI-2评估集（120个问题，经去重）的并集，在训练中被屏蔽以防止数据泄露。数据来源于三个公开的ARC谜题集合：ARC-AGI-2（Apache-2.0许可）、NVARC Augmented Puzzles和arc-dataset-collection（包含20个社区收集的子集，主要基于MIT或Apache-2.0许可）。训练问题从约66,000个符合条件的谜题中均匀随机抽取（每个问题的训练示例≤5，且排除所有验证问题ID）。数据集以JSONL格式提供，每行包含一个ARC谜题提示，主要字段包括：OpenAI格式的渲染提示、预期输出网格、训练示例对列表、测试输入网格、问题标识、变体类型、难度评分和分类、增强参数以及来源元数据。奖励通过模型输出与地面真实网格的确定性精确匹配产生，为二进制值（1.0/0.0）。该数据集旨在用于视觉/抽象推理的强化学习后训练研究，适用场景包括：智能体推理模型的RLHF/RLAIF、基于确定性验证的无奖励模型RL、难度课程实验以及奖励分析以选择困难子集进行集中训练。数据集仅包含文本形式，ARC网格以格式化文本描述而非图像呈现。Nemotron-RL-ARC-AGI-v1 is a single-step ARC-AGI puzzle prompt dataset for reinforcement learning post-training of large language models. It contains two task variants: transductive requires the model to directly output the solution grid in oxed{} format, while python_inductive requires the model to output a Python transform(grid) function that is executed on test inputs (with a 30-second timeout). Both variants use the same 10,000 training problems and 514 validation problems, differing only in prompt rendering and reward extraction logic. The validation set is a union of the ARC-AGI-1 evaluation set (400 problems) and the ARC-AGI-2 evaluation set (120 problems, deduplicated), which are masked during training to prevent data leakage. The data is sourced from three public ARC puzzle collections: ARC-AGI-2 (Apache-2.0 license), NVARC Augmented Puzzles, and arc-dataset-collection (containing 20 community-collected subsets, primarily under MIT or Apache-2.0 licenses). Training problems are uniformly randomly sampled from approximately 66,000 eligible puzzles (with ≤5 training examples per problem and exclusion of all validation problem IDs). The dataset is provided in JSONL format, with each line containing an ARC puzzle prompt, key fields including: OpenAI-formatted rendered prompt (responses_create_params.input), expected output grid, list of training example pairs, test input grid, problem identifiers (problem_id, task_id), variant type, difficulty score and classification (difficulty, difficulty_bucket), augmentation parameters, and source metadata (original_problem, metadata, agent_ref). Rewards are generated via deterministic exact match between model output and ground-truth grids, resulting in binary values (1.0/0.0). The dataset is intended for reinforcement learning post-training research in visual/abstract reasoning, applicable in scenarios such as RLHF/RLAIF for agent reasoning models, reward-free model RL based on deterministic verification, difficulty curriculum experiments, and reward analysis to select hard subsets for focused training. The dataset is text-only, with ARC grids presented as formatted text descriptions rather than images.

原始信息汇总

数据集概述

Nemotron-RL-ARC-AGI-v1 是一个为大型语言模型强化学习后训练设计的单步 ARC-AGI 谜题提示数据集，由 NVIDIA 创建。该数据集以文本形式呈现谜题，并提供二元奖励（1.0 或 0.0）用于确定性验证。

• 语言：英语
• 许可证：CC BY 4.0（同时包含 Apache 2.0 和 MIT 许可证）
• 任务类别：文本生成、问答
• 标签：推理、问答、强化学习、手动收集、合成数据
• 数据集大小：10K < n < 100K
• 创建日期：2026-03-31，最后更新于 2026-06-02
• 版本：Nemotron-RL-ARC-AGI-v1

数据集结构

数据集包含两个变体（子集）：

• transductive：模型需以 oxed{} 格式直接输出解决方案网格，通过精确匹配与 expected_output 比较。
• python_inductive：模型需输出一个 Python transform(grid) 函数，执行后（30秒超时）将结果网格与 expected_output 精确匹配。

两个变体均为单步响应，共享相同的训练和验证问题，仅提示形式和奖励提取逻辑不同。训练集包含 10,000 个问题，验证集包含 514 个唯一问题。

数据量化表：

子集	分割	行数	唯一问题数	磁盘占用
transductive	train	10,000	10,000	272 MB
transductive	validation	514	514	8.4 MB
python_inductive	train	10,000	10,000	297 MB
python_inductive	validation	514	514	9.5 MB
总计		21,028		~587 MB

数据格式

• 模态：文本
• 格式：JSONL
• 每行包含字段：
  • responses_create_params.input：OpenAI 格式的提示（系统 + 用户角色）
  • expected_output：2D 整数数组（真实输出网格）
  • train：演示对列表（输入 + 输出网格）
  • test_input：2D 整数数组（测试输入网格）
  • problem_id、task_id：谱系标识符
  • variant：变体名称
  • difficulty（0-1 浮点数）、difficulty_bucket（"easy" / "medium" / "hard"）
  • augmentation：增强信息（所有发布行均为未增强）
  • original_problem、metadata、agent_ref：额外谱系信息

数据来源与处理

谜题种子来自三个公开来源：

• ARC-AGI-2（Apache-2.0）
• NVARC Augmented Puzzles（NVIDIA Kaggle 团队发布）
• arc-dataset-collection（20 个社区收集子集，主要为 MIT 或 Apache-2.0 许可证）

训练集从约 66K 合格问题中均匀随机抽样（每个问题训练示例≤5 个，排除所有验证问题 ID）。验证集由 ARC-AGI-1 评估集（400 个问题）和 ARC-AGI-2 评估集（120 个问题，去重后共 514 个唯一问题）组成。

训练集难度分布：

难度	数量	百分比
Easy (< 0.3)	1,201	12.0%
Medium (0.3–0.7)	3,591	35.9%
Hard (≥ 0.7)	5,208	52.1%
总计	10,000

预期用途

该数据集适用于研究人员和模型开发者进行视觉/抽象推理的强化学习后训练，包括：

• RLHF/RLAIF 在代理推理模型上的应用
• 无奖励模型、确定性验证的强化学习
• 难度课程实验（每行包含 difficulty 和 difficulty_bucket）
• 奖励分析以选择困难子集进行集中强化学习

道德考量

NVIDIA 致力于可信赖 AI，开发者应确保数据集符合相关行业和用例要求，并防范产品滥用。质量、风险、安全漏洞或 AI 相关问题可通过 NVIDIA 支持页面报告。

搜集汇总

数据集介绍

构建方式

Nemotron-RL-ARC-AGI-v1数据集专为大型语言模型的强化学习后训练设计，聚焦于单步ARC-AGI抽象推理谜题。其构建过程从三个公开来源（ARC-AGI-2、NVARC增强谜题集及arc-dataset-collection）自动采集谜题种子数据，并基于每个谜题最多5个训练示例、排除全部514个验证问题ID的筛选规则，从约66K个合格问题中均匀随机采样10,000个训练样本。数据以JSONL格式组织，每行包含一个渲染为文本提示的ARC谜题，并附带参考标准输出网格、问题元数据及难度信息。数据集提供两种任务变体——直接输出网格的递推型（transductive）与输出Python变换函数的归纳型（python_inductive），二者共享相同的谜题集合，仅提示渲染方式与奖励提取逻辑有所不同。

特点

该数据集的核心特色在于其确定性验证机制与二元奖励设计。奖励完全基于精确匹配比较，无需任何人类或语言模型评判员介入，亦不给予部分分数，确保了验证过程的可重复性与公平性。数据集中每个问题均携带浮点型难度分数及对应的难度桶标签（容易/中等/困难），便于研究者开展难度课程学习实验。此外，验证集由400个ARC-AGI-1评估题与120个ARC-AGI-2评估题（去重后共514个）组成，这些题目被严格排除在训练集之外，有效防止了数据泄露。所有行均为未经增强的原始谜题，但数据集保留了完整的谱系元数据，支持后续通过D4对称变换、颜色置换等8倍扩展。

使用方法

使用时，可依据任务需求选择transductive或python_inductive两种配置之一。对于递推型变体，模型需在响应中使用\boxed{}格式直接输出解网格，系统将解析该网格并与预期输出进行精确匹配以计算二元奖励。对于归纳型变体，模型需输出一个Python函数transform(grid)，该函数将在30秒超时限制内执行于测试输入，生成的网格同样通过精确匹配获取奖励。数据集已分别划分训练集与验证集，便于直接用于强化学习训练与评估。研究者可利用每行携带的难度元数据进行奖励曲线分析、困难子集聚焦训练等高级实验，同时可结合独立的NeMo Gym资源服务器中的验证代码实现完整的强化学习环境闭环。

背景与挑战

背景概述

Nemotron-RL-ARC-AGI-v1数据集由NVIDIA公司于2026年创建，旨在为大型语言模型提供强化学习后训练环境，专注于抽象视觉推理任务。该数据集基于ARC-AGI（Abstraction and Reasoning Corpus）挑战，将网格推理问题转化为文本提示，通过确定性奖励机制（精确匹配）评估模型输出。作为NVIDIA Nemotron系列的重要组成部分，该数据集推动了强化学习在推理任务中的应用，尤其适用于奖励模型无关的确定性验证和难度课程实验。其影响力体现在为研究者提供了可扩展、可重复的基准，助力提升语言模型的逻辑推理与泛化能力。

当前挑战

核心挑战在于解决抽象推理这一领域难题，ARC-AGI任务要求模型从少量示例中归纳出高维变换规则，而传统语言模型难以处理此类结构化、非符号化的模式识别。数据集构建过程中面临多重挑战：首先，需从约73,000个候选问题中均匀采样10,000个训练样本，同时严格过滤以防止验证集（514个问题）泄漏；其次，需设计两种任务变体（直推式和Python归纳式），分别要求直接输出网格或生成可执行代码，并确保奖励函数完全确定性，避免人为偏差。此外，困难样本分布不均（超过52%为困难问题），对模型训练策略提出了更高要求。

常用场景

经典使用场景

Nemotron-RL-ARC-AGI-v1数据集专为强化学习后训练场景而设计，核心用途在于提升大型语言模型在抽象视觉推理任务上的能力。该数据集将ARC-AGI谜题以文本提示形式呈现，支持两种任务变体：transductive模式要求模型直接输出解答网格，而python_inductive模式则要求模型生成可执行的Python转换函数。研究者可利用该环境进行基于确定性奖励的强化学习训练，无需依赖人工或模型评判，从而在纯粹的符号推理空间中探索模型泛化能力的边界。

解决学术问题

该数据集主要解决了当前大语言模型在抽象推理与泛化能力评估上缺乏标准化、可重复的强化学习训练环境的问题。传统基准多依赖静态评估或模糊奖励，难以精确衡量模型在未见模式上的推理质量。Nemotron-RL-ARC-AGI-v1通过二值精确匹配奖励和丰富的难度分级，使得研究者能够系统性地研究模型在推理任务上的学习曲线、困难样本适应策略以及奖励塑形机制，为探索通往通用人工智能的路径提供了坚实的实验平台。

衍生相关工作

该数据集的发布催生了一系列围绕抽象推理与强化学习结合的前沿工作。其同伴监督微调数据集Nemotron-SFT-ARC-AGI-v1构成了从预训练到强化学习后训练的全流程基准。研究者基于此环境探索了基于难度课程学习的训练策略，利用数据集中附带的难度标签进行渐进式样本筛选。此外，该数据集还推动了免奖励模型的确定性强化学习方法的发展，以及关于模型在transductive与inductive推理范式间迁移能力的研究，为构建更鲁棒的通用推理系统奠定了方法论基础。