APPS

APPS 数据集包含从不同的开放访问编码网站（如 Codeforces、Kattis 等）收集的问题。 APPS 基准测试试图通过以不受限制的自然语言提出编码问题并评估解决方案的正确性来反映人类程序员的评估方式。问题的难度范围从入门级到大学竞赛级别，并衡量编码能力以及解决问题的能力。 自动化编程进度标准，缩写为 APPS，总共包含 10,000 个编码问题，有 131,836 个用于检查解决方案的测试用例和 232,444 个由人类编写的真实解决方案。问题可能很复杂，因为问题的平均长度为 293.2 个单词。数据被平均分成训练集和测试集，每个有 5,000 个问题。在测试集中，每个问题都有多个测试用例，平均测试用例数为21.2。每个测试用例都是专门针对相应问题设计的，使我们能够严格评估程序功能。