hkust-nlp/dart-math-pool-math-query-info

DART-Math数据集是一系列用于数学问题指令调优的开源数据集，包含DART-Math-Hard和DART-Math-Uniform等子数据集。这些数据集通过不同的采样策略（如DARS-Uniform和DARS-Prop2Diff）构建，旨在提高模型在数学推理任务中的表现。DART-Math-Hard包含约585k个数学问答对样本，通过DARS-Prop2Diff策略从MATH和GSK8K训练集中构建，并在多个具有挑战性的数学推理基准测试中取得了最先进的性能。DART-Math-Uniform包含约591k个样本，通过DARS-Uniform策略构建。这些数据集通过增加对困难查询的响应数量，旨在平衡或偏向于困难查询，从而提高模型的能力。

原始信息汇总

数据集概述

数据集特征

• query_id: 字符串类型
• level: 整数类型（int64）
• domain: 字符串类型
• n_samples_list: 整数序列（int64）
• n_corrects_list: 整数序列（int64）
• tot_n_samples: 整数类型（int64）
• tot_n_corrects: 整数类型（int64）
• pass_rate: 浮点数类型（float64）
• pass_rate_bernoulli_std: 浮点数类型（float64）

数据集分割

• train:
  • 字节数: 23702730
  • 示例数: 7500

数据集大小

• 下载大小: 1205819字节
• 数据集大小: 23702730字节

配置

• config_name: default
• data_files:
  • split: train
  • path: data/train-*

搜集汇总

数据集介绍

构建方式

该数据集源自DART-Math项目，旨在为数学推理任务提供指令微调数据。其构建基于难度感知拒绝采样（DARS）策略，针对MATH训练集中的查询，通过两种方式生成合成数据：Uniform策略为每个查询均匀采集固定数量的正确响应，直至达到预设阈值；Prop2Diff策略则依据查询的难度分数按比例分配正确响应数量，使困难查询获得更多样本。数据由DeepSeekMath-7B-RL模型合成，最终形成约585k至591k条问答对，并记录每次合成的原始与正确样本数等元信息。

特点

该数据集的核心特点在于其难度感知的设计，通过Prop2Diff策略刻意偏向困难查询，克服了传统拒绝采样中容易查询过度代表的偏差。数据集包含7500个查询的详细元信息，如查询ID、难度等级、领域、采样与正确次数、通过率及其贝努利标准差，为分析数据分布与模型性能提供丰富维度。相比同类数据集，DART-Math在保持开源的同时，在多个数学基准上达到领先性能，且数据量更为精简高效。

使用方法

该数据集通常与dart-math-pool-math配合使用，适用于文本生成任务。用户可直接加载HuggingFace上的train分割数据，利用其中的查询ID、难度、通过率等字段进行数据筛选或分析。推荐结合DART-Math系列的其他数据集（如dart-math-uniform或dart-math-hard）进行模型微调，以复现论文中的数学推理性能。数据以MIT许可发布，支持学术与商业应用。

背景与挑战

背景概述

数学推理能力的提升是自然语言处理领域长期关注的核心议题，大语言模型在此类任务中的表现常受限于高质量指令微调数据的匮乏。2024年，香港科技大学自然语言处理实验室的研究团队（Tong等人）提出了DART-Math数据集，旨在通过难度感知的拒绝采样策略（DARS）构建更具数据效率的数学推理微调资源。该数据集基于MATH和GSM8K训练集的问题查询，利用DeepSeekMath-7B-RL模型合成响应，最终形成约58.5万至59.1万条问答对。DART-Math的发布显著推动了开源数学推理数据集的发展，在多个基准测试（如MATH、College Math）上达到领先水平，其核心贡献在于揭示了传统拒绝采样对简单问题的偏好偏差，并提出了平衡与偏向困难查询的两种策略，为后续研究提供了方法论启示。

当前挑战

当前数学推理任务面临的核心挑战在于模型对复杂问题的泛化能力不足，传统数据增强方法往往过度聚焦于简单查询，导致模型在解决高难度数学问题时性能瓶颈显著。DART-Math的构建过程亦遭遇多重困难：首先，如何量化查询的难度并确保合成响应质量与难度匹配是一大难题，研究团队需设计精细的采样策略（如Prop2Diff）以克服天然的数据分布偏差；其次，在数据规模与多样性之间寻求平衡，既要避免冗余样本的噪声干扰，又要保证对困难问题的充分覆盖；此外，依赖开源模型（如DeepSeekMath-7B-RL）作为合成代理，其自身推理能力的局限性可能制约数据质量，需通过迭代采样与难度校准来缓解。这些挑战共同决定了数据集构建的复杂性与最终性能的上限。

常用场景

经典使用场景

在数学推理领域，该数据集主要服务于基于难度感知的拒绝采样策略，用于构建高质量的指令微调数据集。具体而言，研究者利用其中的查询难度信息（如pass_rate）来平衡或偏向于困难样本的采样，从而生成更具挑战性的数学问题-答案对，以提升模型在复杂数学推理任务上的表现。这一过程通常与DART-Math系列数据集中的其他组件（如dart-math-pool-math）协同使用，实现从原始查询到最终训练样本的精细化筛选。

解决学术问题

该数据集的核心贡献在于揭示了传统拒绝采样方法中普遍存在的对简单查询的过度偏向问题，即模型往往难以对最困难的数学问题生成正确响应。通过引入难度感知的拒绝采样策略（DARS），它系统性地解决了如何为不同难度的查询分配合理的采样次数这一关键学术难题。这不仅提升了数学推理模型在MATH等基准上的准确率，更推动了数据高效微调方法的理论发展，为理解困难样本对模型能力增强的作用提供了实证基础。

衍生相关工作

该数据集衍生了多个具有影响力的相关工作，包括DART-Math-Uniform和DART-Math-Hard两个子集，分别采用均匀采样和按难度比例采样策略构建。这些工作进一步催生了关于难度感知数据增强的系列研究，如探索不同难度分布对模型泛化能力的影响，以及将DARS框架扩展到其他推理领域（如代码生成或逻辑推理）。同时，该数据集也常作为对比基准，用于评估新型数学指令微调方法的有效性，推动了开源社区在数学推理方向上的持续创新。