hendrycks/competition_math

---
annotations_creators:
- expert-generated
language_creators:
- expert-generated
language:
- en
license:
- mit
multilinguality:
- monolingual
pretty_name: Mathematics Aptitude Test of Heuristics (MATH)
size_categories:
- 10K<n<100K
source_datasets:
- original
task_categories:
- text2text-generation
task_ids: []
tags:
- explanation-generation
dataset_info:
features:
- name: problem
dtype: string
- name: level
dtype: string
- name: type
dtype: string
- name: solution
dtype: string
splits:
- name: train
num_bytes: 5984788
num_examples: 7500
- name: test
num_bytes: 3732575
num_examples: 5000
download_size: 20327424
dataset_size: 9717363
---

# Dataset Card for Mathematics Aptitude Test of Heuristics (MATH) dataset

## Table of Contents
- [Table of Contents](#table-of-contents)
- [Dataset Description](#dataset-description)
- [Dataset Summary](#dataset-summary)
- [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards)
- [Languages](#languages)
- [Dataset Structure](#dataset-structure)
- [Data Instances](#data-instances)
- [Data Fields](#data-fields)
- [Data Splits](#data-splits)
- [Dataset Creation](#dataset-creation)
- [Curation Rationale](#curation-rationale)
- [Source Data](#source-data)
- [Annotations](#annotations)
- [Personal and Sensitive Information](#personal-and-sensitive-information)
- [Considerations for Using the Data](#considerations-for-using-the-data)
- [Social Impact of Dataset](#social-impact-of-dataset)
- [Discussion of Biases](#discussion-of-biases)
- [Other Known Limitations](#other-known-limitations)
- [Additional Information](#additional-information)
- [Dataset Curators](#dataset-curators)
- [Licensing Information](#licensing-information)
- [Citation Information](#citation-information)
- [Contributions](#contributions)

## Dataset Description

- **Homepage:** https://github.com/hendrycks/math
- **Repository:** https://github.com/hendrycks/math
- **Paper:** https://arxiv.org/pdf/2103.03874.pdf
- **Leaderboard:** N/A
- **Point of Contact:** Dan Hendrycks

### Dataset Summary

The Mathematics Aptitude Test of Heuristics (MATH) dataset consists of problems
from mathematics competitions, including the AMC 10, AMC 12, AIME, and more.
Each problem in MATH has a full step-by-step solution, which can be used to teach
models to generate answer derivations and explanations.

### Supported Tasks and Leaderboards

[More Information Needed]

### Languages

[More Information Needed]

## Dataset Structure

### Data Instances

A data instance consists of a competition math problem and its step-by-step solution written in LaTeX and natural language. The step-by-step solution contains the final answer enclosed in LaTeX's `\boxed` tag.

An example from the dataset is:
```
{'problem': 'A board game spinner is divided into three parts labeled $A$, $B$ and $C$. The probability of the spinner landing on $A$ is $\\frac{1}{3}$ and the probability of the spinner landing on $B$ is $\\frac{5}{12}$. What is the probability of the spinner landing on $C$? Express your answer as a common fraction.',
'level': 'Level 1',
'type': 'Counting & Probability',
'solution': 'The spinner is guaranteed to land on exactly one of the three regions, so we know that the sum of the probabilities of it landing in each region will be 1. If we let the probability of it landing in region $C$ be $x$, we then have the equation $1 = \\frac{5}{12}+\\frac{1}{3}+x$, from which we have $x=\\boxed{\\frac{1}{4}}$.'}
```

### Data Fields

* `problem`: The competition math problem.
* `solution`: The step-by-step solution.
* `level`: The problem's difficulty level from 'Level 1' to 'Level 5', where a subject's easiest problems for humans are assigned to 'Level 1' and a subject's hardest problems are assigned to 'Level 5'.
* `type`: The subject of the problem: Algebra, Counting & Probability, Geometry, Intermediate Algebra, Number Theory, Prealgebra and Precalculus.

### Data Splits

* train: 7,500 examples
* test: 5,000 examples

## Dataset Creation

### Curation Rationale

[More Information Needed]

### Source Data

#### Initial Data Collection and Normalization

[More Information Needed]

#### Who are the source language producers?

[More Information Needed]

### Annotations

#### Annotation process

[More Information Needed]

#### Who are the annotators?

[More Information Needed]

### Personal and Sensitive Information

[More Information Needed]

## Considerations for Using the Data

### Social Impact of Dataset

[More Information Needed]

### Discussion of Biases

[More Information Needed]

### Other Known Limitations

[More Information Needed]

## Additional Information

### Dataset Curators

[More Information Needed]

### Licensing Information

https://github.com/hendrycks/math/blob/main/LICENSE

### Citation Information
```bibtex
@article{hendrycksmath2021,
title={Measuring Mathematical Problem Solving With the MATH Dataset},
author={Dan Hendrycks
and Collin Burns
and Saurav Kadavath
and Akul Arora
and Steven Basart
and Eric Tang
and Dawn Song
and Jacob Steinhardt},
journal={arXiv preprint arXiv:2103.03874},
year={2021}
}
```

### Contributions

Thanks to [@hacobe](https://github.com/hacobe) for adding this dataset.

annotations_creators:
- 专家生成
language_creators:
- 专家生成
language:
- 英语（en）
license:
- MIT协议
multilinguality:
- 单语言
pretty_name: 启发式数学能力测试（Mathematics Aptitude Test of Heuristics, MATH）
size_categories:
- 10000 < 样本数 < 100000
source_datasets:
- 原始数据集
task_categories:
- 文本到文本生成
task_ids: []
tags:
- 解释生成
dataset_info:
features:
- 名称：问题（problem），数据类型：字符串
- 名称：难度等级（level），数据类型：字符串
- 名称：题型类别（type），数据类型：字符串
- 名称：解答（solution），数据类型：字符串
splits:
- 名称：训练集（train），字节数：5984788，样本数：7500
- 名称：测试集（test），字节数：3732575，样本数：5000
download_size: 20327424 字节
dataset_size: 9717363 字节
---

# 启发式数学能力测试（MATH）数据集卡片
## 目录
- [目录](#目录)
- [数据集描述](#数据集描述)
- [数据集概述](#数据集概述)
- [支持任务与排行榜](#支持任务与排行榜)
- [语言](#语言)
- [数据集结构](#数据集结构)
- [数据实例](#数据实例)
- [数据字段](#数据字段)
- [数据划分](#数据划分)
- [数据集构建](#数据集构建)
- [构建初衷](#构建初衷)
- [源数据](#源数据)
- [注释标注](#注释标注)
- [个人与敏感信息](#个人与敏感信息)
- [数据集使用注意事项](#数据集使用注意事项)
- [数据集的社会影响](#数据集的社会影响)
- [偏差讨论](#偏差讨论)
- [其他已知局限性](#其他已知局限性)
- [附加信息](#附加信息)
- [数据集维护者](#数据集维护者)
- [许可证信息](#许可证信息)
- [引用信息](#引用信息)
- [贡献致谢](#贡献致谢)

## 数据集描述
- **主页**：https://github.com/hendrycks/math
- **代码仓库**：https://github.com/hendrycks/math
- **相关论文**：https://arxiv.org/pdf/2103.03874.pdf
- **排行榜**：无
- **联络人**：Dan Hendrycks

### 数据集概述
启发式数学能力测试（MATH）数据集收录了各类数学竞赛试题，涵盖AMC 10、AMC 12、AIME等赛事。数据集中的每道试题均附带完整的分步解答，可用于训练大语言模型（Large Language Model, LLM）生成解题推导过程与解释文本。

### 支持任务与排行榜
[需补充更多信息]

### 语言
[需补充更多信息]

## 数据集结构
### 数据实例
单条数据实例包含一道竞赛数学试题，以及采用LaTeX与自然语言编写的分步解答。分步解答中，最终答案被包裹在LaTeX的`oxed`标签内。

数据集示例如下：

{'problem': '某桌游转盘被划分为标注有$A$、$B$、$C$的三个区域。转盘停在$A$区域的概率为$frac{1}{3}$，停在$B$区域的概率为$frac{5}{12}$。求转盘停在$C$区域的概率，以最简分数形式作答。',
'level': 'Level 1',
'type': '计数与概率（Counting & Probability）',
'solution': '转盘必然恰好停在三个区域中的一个，因此各区域的概率之和为1。设停在$C$区域的概率为$x$，可得方程 $1 = frac{5}{12}+frac{1}{3}+x$，解得 $x=oxed{frac{1}{4}}$。'}

### 数据字段
* `problem`：竞赛数学试题文本
* `solution`：分步解题解答文本
* `level`：试题难度等级，范围为Level 1至Level 5，其中Level 1对应人类受试者的简单试题，Level 5对应难度最高的试题
* `type`：试题所属学科类别，包括代数（Algebra）、计数与概率（Counting & Probability）、几何（Geometry）、中级代数（Intermediate Algebra）、数论（Number Theory）、预备代数（Prealgebra）与预备微积分（Precalculus）

### 数据划分
* 训练集：7500条样本
* 测试集：5000条样本

## 数据集构建
### 构建初衷
[需补充更多信息]

### 源数据
#### 初始数据收集与标准化
[需补充更多信息]

#### 源语言生成者
[需补充更多信息]

### 注释标注
#### 标注流程
[需补充更多信息]

#### 标注人员
[需补充更多信息]

### 个人与敏感信息
[需补充更多信息]

## 数据集使用注意事项
### 数据集的社会影响
[需补充更多信息]

### 偏差讨论
[需补充更多信息]

### 其他已知局限性
[需补充更多信息]

## 附加信息
### 数据集维护者
[需补充更多信息]

### 许可证信息
https://github.com/hendrycks/math/blob/main/LICENSE

### 引用信息
bibtex
@article{hendrycksmath2021,
title={利用MATH数据集测评数学解题能力},
author={Dan Hendrycks
and Collin Burns
and Saurav Kadavath
and Akul Arora
and Steven Basart
and Eric Tang
and Dawn Song
and Jacob Steinhardt},
journal={arXiv预印本 arXiv:2103.03874},
year={2021}
}

### 贡献致谢
感谢[@hacobe](https://github.com/hacobe)为本数据集添加至公开仓库。

原始信息汇总

数据集概述

名称: Mathematics Aptitude Test of Heuristics (MATH)

描述: MATH数据集包含来自数学竞赛的问题，包括AMC 10、AMC 12、AIME等。每个问题都附有完整的逐步解答，用于训练模型生成答案推导和解释。

语言: 英语 (en)

许可证: MIT

多语言性: 单语

大小: 10K<n<100K

来源: 原始数据

任务类别: 文本到文本生成

标签: 解释生成

数据集结构

数据实例

• 问题: 竞赛数学问题
• 解答: 逐步解答，包含最终答案
• 级别: 问题难度级别（Level 1至Level 5）
• 类型: 问题主题（代数、计数与概率、几何、中级代数、数论、预备代数和预备微积分）

数据字段

• problem: 字符串类型，竞赛数学问题。
• solution: 字符串类型，逐步解答。
• level: 字符串类型，问题难度级别。
• type: 字符串类型，问题主题。

数据分割

• 训练集: 7,500个实例
• 测试集: 5,000个实例

数据集创建

许可证信息

• 许可证: MIT，详情见LICENSE

引用信息

bibtex @article{hendrycksmath2021, title={Measuring Mathematical Problem Solving With the MATH Dataset}, author={Dan Hendrycks and Collin Burns and Saurav Kadavath and Akul Arora and Steven Basart and Eric Tang and Dawn Song and Jacob Steinhardt}, journal={arXiv preprint arXiv:2103.03874}, year={2021} }

搜集汇总

背景与挑战

背景概述

该数据集包含数学竞赛问题及其详细解答，用于训练模型生成解答和解释。数据集分为训练集和测试集，问题涵盖多个数学领域并分为五个难度等级。