APPS

displayName: APPS (Automated Programming Progress Standard)
license:
- MIT
taskTypes:
- Natural Language Generation
- Code Generation
mediaTypes:
- Text
labelTypes:
- Text
tags: []
publisher:
- Cornell University
- University of California, Berkeley
- University of Chicago
- University of Illinois Urbana-Champaign
publishDate: '2021-05-01'
publishUrl: https://github.com/hendrycks/apps
paperUrl: https://arxiv.org/pdf/2105.09938v3.pdf

---
# 数据集介绍
## 简介
APPS 数据集包含从不同的开放访问编码网站（如 Codeforces、Kattis 等）收集的问题。 APPS 基准测试试图通过以不受限制的自然语言提出编码问题并评估解决方案的正确性来反映人类程序员的评估方式。问题的难度范围从入门级到大学竞赛级别，并衡量编码能力以及解决问题的能力。
自动化编程进度标准，缩写为 APPS，总共包含 10,000 个编码问题，有 131,836 个用于检查解决方案的测试用例和 232,444 个由人类编写的真实解决方案。问题可能很复杂，因为问题的平均长度为 293.2 个单词。数据被平均分成训练集和测试集，每个有 5,000 个问题。在测试集中，每个问题都有多个测试用例，平均测试用例数为21.2。每个测试用例都是专门针对相应问题设计的，使我们能够严格评估程序功能。
## 引文
```
@article{hendrycks2021measuring,
title={Measuring coding challenge competence with apps},
author={Hendrycks, Dan and Basart, Steven and Kadavath, Saurav and Mazeika, Mantas and Arora, Akul and Guo, Ethan and Burns, Collin and Puranik, Samir and He, Horace and Song, Dawn and others},
journal={arXiv preprint arXiv:2105.09938},
year={2021}
}

```

## Download dataset
:modelscope-code[]{type="git"}

数据集名称：自动化编程进度标准（Automated Programming Progress Standard，缩写APPS）
许可证：MIT许可证
任务类型：自然语言生成、代码生成
媒体类型：文本
标签类型：文本
标签：无
发布方：康奈尔大学、加州大学伯克利分校、芝加哥大学、伊利诺伊大学厄巴纳-香槟分校
发布日期：2021年5月1日
发布地址：https://github.com/hendrycks/apps
论文地址：https://arxiv.org/pdf/2105.09938v3.pdf

---
# 数据集介绍
## 简介
APPS数据集收录了来自Codeforces、Kattis等开放访问编码平台的编程问题。该基准测试旨在通过以无限制自然语言形式提出编程问题，并对解决方案的正确性进行评估，还原人类程序员的能力评估流程。问题难度覆盖入门级至大学竞赛级，可同时衡量编码能力与问题解决能力。
自动化编程进度标准（APPS）共计包含10000个编码问题，配套131836个用于验证解题方案的测试用例，以及232444份由人类编写的真实解题方案。问题文本普遍较长，平均长度达293.2词。数据集被均匀划分为训练集与测试集，二者各包含5000个问题。测试集中的每个问题均配有多个测试用例，平均单问题测试用例数为21.2；每个测试用例均针对对应问题量身定制，可实现对程序功能的严格评估。

## 引文

@article{hendrycks2021measuring,
title={Measuring coding challenge competence with apps},
author={Hendrycks, Dan and Basart, Steven and Kadavath, Saurav and Mazeika, Mantas and Arora, Akul and Guo, Ethan and Burns, Collin and Puranik, Samir and He, Horace and Song, Dawn and others},
journal={arXiv preprint arXiv:2105.09938},
year={2021}
}

## 下载数据集
:modelscope-code[]{type="git"}

搜集汇总

背景与挑战

背景概述

APPS数据集是一个用于评估代码生成和自然语言处理能力的大规模基准，包含10,000个从开放编码网站收集的编程问题，覆盖从入门到竞赛级别的难度。数据集提供131,836个测试用例和232,444个人类编写的真实解决方案，问题平均长度为293.2个单词，数据被均匀分为训练集和测试集，每个问题平均有21.2个测试用例，旨在通过自然语言问题和严格测试来模拟人类程序员的评估过程。