sungyub/eurus-2-math-verl

这个数据集包含283,612个数学推理问题，经过处理转换为VERL格式，用于奖励模型和强化学习训练。数据集专注于高质量的数学问题验证和奖励模型，适用于数学问题解决的强化学习应用。

This dataset contains 283,612 mathematical reasoning problems, processed and converted to the VERL format for reward modeling and reinforcement learning training. The dataset focuses on high-quality verification and reward modeling for mathematical problem-solving in reinforcement learning applications.

搜集汇总

数据集介绍

构建方式

在数学推理与强化学习交叉领域，高质量标注数据是驱动模型能力跃升的关键基石。该数据集源自PRIME-RL团队发布的Eurus-2-RL-Data，经系统性清洗与格式转换而来。构建流程首先生效于URL过滤与基础文本校验，剔除含链接样本以净化语料；继而采用SHA-256哈希结合文本归一化技术进行内部去重，将原始30万样本精简至283,612条，压缩率达5.5%。进一步实施跨数据集去重，移除约1万条冗余样本，确保数据独特性。最终统一转换为VERL（验证与强化学习）标准模式，为每道题目配备基于规则的奖励模型字段与已验证的正确答案，形成可直接用于强化学习训练的标准化数学推理数据集。

特点

该数据集以规模与规范性见长，包含283,612道数学推理问题，总容量35.3 MB，覆盖混合来源的多样化题型。其核心特色在于严格遵循VERL架构，每条样本均包含data_source标识来源、prompt以对话格式呈现用户查询、ability固定为数学任务、reward_model采用规则驱动验证并存储ground_truth答案（常以oxed{}格式封装），以及extra_info保留原始划分信息。这种结构化设计使得数据不仅适用于标准监督学习，更天然适配强化学习中的奖励建模场景。内部去重与跨数据集去重的双重保障，极大降低了数据冗余风险，提升了训练样本的多样性与可靠性。

使用方法

使用者可通过HuggingFace Datasets库便捷加载：调用load_dataset('sungyub/eurus-2-math-verl')即可获取完整数据集，推荐启用streaming=True以应对大规模数据流式处理。每条样本可直接提取prompt内容作为模型输入，利用reward_model.ground_truth字段进行答案验证。与VERL框架集成时，可调用compute_score函数，传入data_source、生成解与ground_truth，自动计算基于规则或格式的奖励分数。此外，该数据集无缝对接DataTrove流水线，支持通过ParquetReader读取后实施自定义过滤与增强操作，例如过滤短文本样本。典型应用场景包括数学推理模型的强化学习微调、奖励模型训练以及多数据集融合实验。

背景与挑战

背景概述

在人工智能领域，数学推理能力的提升是迈向通用智能的关键一步。近年来，强化学习与奖励建模技术的融合为复杂数学问题的求解开辟了新路径。在此背景下，由PRIME-RL团队于2025年创建、经Sungyub Kim精细处理并转化的Eurus-2-Math-VERL数据集应运而生。该数据集源自PRIME-RL/Eurus-2-RL-Data，包含283,612个高质量数学推理问题，采用VERL格式封装，专为强化学习训练中的奖励建模而设计。它聚焦于数学问题求解的验证与奖励机制，为研究如何通过自动化反馈优化推理策略提供了标准化、可复用的基础资源，对推动数学推理领域的算法迭代与模型评估具有重要影响力。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：数学推理任务要求模型不仅理解自然语言描述，还需进行符号操作与逻辑推导，其答案的多样性与验证的精确性构成了核心难题。构建过程中，团队需解决数据清洗与格式转换的诸多技术障碍，包括去除包含URL的噪声样本、对近30万条原始数据进行SHA-256哈希去重（减少约5.5%的冗余），以及在不同数据集间进行交叉去重以消除重复项。此外，将原始数据统一映射到VERL格式的奖励模型架构中，确保规则化验证（rule-based verification）的准确性与一致性，也是一项精细且耗时的工程挑战。

常用场景

经典使用场景

在数学推理与强化学习交叉领域，sungyub/eurus-2-math-verl数据集被广泛用作奖励建模与策略优化的标准基准。该数据集包含28万余道经过严格验证的数学问题，并统一转换为VERL格式，每条样本均附带规则化奖励函数所需的真实答案与哈希校验信息。研究者通常利用其进行基于规则的奖励信号设计，验证模型在复杂数学推导中的泛化能力，并以此为基础开展从人类反馈中学习的强化学习训练。其标准化的数据架构也使其成为评估不同强化学习算法在数学任务上表现的核心测试集。

解决学术问题

该数据集系统性地解决了数学推理场景中奖励信号稀疏性与不可靠性的学术难题。传统强化学习在数学任务上常因缺乏明确的成功判定标准而陷入局部最优，而Eurus-2-Math-VERL通过提供经过校验的真实答案与规则化奖励范式，为模型提供了清晰、一致的优化目标。它使得研究者能够精确量化模型在符号运算、逻辑推导与数值求解方面的进步，从而有力推动了基于奖励的数学推理能力增强方法的发展。此外，其去重与格式规范化流程也为构建大规模、高质量数学推理数据集树立了方法论标杆。

衍生相关工作

围绕该数据集衍生出一系列具有影响力的研究工作，主要集中在基于验证的强化学习算法优化与数学推理能力增强两大方向。其中，PRIME-RL团队提出的规则化奖励建模框架被后续多项工作采纳为基准方法。研究者还基于此数据集开发了多轮推理自纠正机制、过程奖励模型以及混合精度奖励信号融合策略等创新技术。在数据集层面，其预处理与去重方法论催生了Math-VERL-Unified等更大规模、跨数据源的统一数学推理数据集，进一步推动了该领域研究范式的演进。