hkust-nlp/dart-math-uniform

DART-Math-Hard数据集是一个用于数学推理的指令调优数据集，包含约585k个数学问答对样本。这些样本是通过将DARS-Prop2Diff方法应用于MATH和GSK8K训练集的查询集构建的。该数据集在多个具有挑战性的数学推理基准测试中达到了最先进的性能，并且引入了对困难查询的故意偏差，与普通的拒绝采样相反。数据集的目标是通过增加对困难查询的正确响应数量，提升模型在复杂数学问题上的解决能力。

原始信息汇总

数据集概述

基本信息

• 数据集名称: DART-Math-Hard
• 数据集大小: 约585k样本
• 数据集类型: 数学问题解答（QA）对
• 语言: 英语（en）
• 任务类别: 问答（question-answering）
• 许可证: MIT
• 标签: 合成（synthetic）, 数学（mathematics）
• 数据集配置: 默认配置，包含训练数据文件路径data/train-*

数据集特征

• query: 字符串类型，问题描述
• response: 字符串类型，问题答案

数据集分割

• 训练集: 585392个样本，数据大小931749217字节
• 下载大小: 328480966字节

数据集构建方法

• DARS - Difficulty-Aware Rejection Sampling: 采用两种策略Uniform和Prop2Diff来增加困难问题的正确回答数量。
  • Uniform: 每个问题累积$k_u$个正确回答。
  • Prop2Diff: 每个问题的正确回答数量与其难度分数成正比，最困难的问题将获得$k_p$个回答。

数据集性能

• DART-Math-Hard在多个挑战性数学推理基准上达到SOTA。
• 相比DART-Math-Uniform，性能通常略好（约1%）。

与其他数学指令调优数据集的比较

• DART-Math-Hard由DeepSeekMath-7B-RL合成，是开源数据集。
• 与其他数据集相比，如MetaMathQA、MMIQC等，DART-Math-Hard专注于困难问题的回答，具有明显的难度偏差。