FudanSELab/ClassEval
收藏数据集卡片 for FudanSELab ClassEval
数据集描述
数据集概述
我们手动构建了包含100个类级别Python编程任务的ClassEval数据集，包含100个类和412个方法，平均每个类有33.1个测试用例。这些任务涵盖了广泛的主题，包括管理系统、数据格式化、数学运算、游戏开发、文件处理、数据库操作和自然语言处理。
语言
编程语言为Python，注释和文档字符串使用的自然语言为英语。
数据集结构
python from datasets import load_dataset dataset = load_dataset("FudanSELab/ClassEval")
DatasetDict({ test: Dataset({ features: [task_id, skeleton, test, solution_code, import_statement, class_description, methods_info, class_name, test_classes, class_constructor, fields], num_rows: 100 }) })
数据字段
每个任务的具体数据字段如下：
task_id: 每个任务的唯一标识符。skeleton: 类骨架，包括所有输入描述。test: 整个类的所有测试用例。solution_code: 每个任务的类级别代码。import_statement: 每个任务的导入语句。class_name: 类的名称。class_description: 类的目的和功能描述。class_constructor: 类的构造函数。fields: 类构造函数中定义的字段。methods_info: 包含每个方法的详细信息，包括：method_name: 方法签名。method_input: 方法合约设计，包括所有输入描述。test_code: 方法的测试用例。solution_code: 方法级别的代码。dependencies: 方法的依赖信息。
数据分割
数据集仅包含一个测试分割，包含100个样本。
数据集创建
源数据
手动构建
附加信息
许可信息
该数据集遵循MIT许可证。
引用信息
@misc{du2023classeval, title={ClassEval: A Manually-Crafted Benchmark for Evaluating LLMs on Class-level Code Generation}, author={Xueying Du and Mingwei Liu and Kaixin Wang and Hanlin Wang and Junwei Liu and Yixuan Chen and Jiayi Feng and Chaofeng Sha and Xin Peng and Yiling Lou}, year={2023}, eprint={2308.01861}, archivePrefix={arXiv}, primaryClass={cs.CL} }
贡献者
Xueying Du xueyingdu21@m.fudan.edu.cn
Mingwei Liu liumingwei@fudan.edu.cn
Kaixin Wang kxwang23@m.fudan.edu.cn
Hanlin Wang wanghanlin23@m.fudan.edu.cn
Junwei Liu jwliu22@m.fudan.edu.cn
Yixuan Chen 23212010005@m.fudan.edu.cn
Jiayi Feng 23210240148@m.fudan.edu.cn
Chaofeng Sha cfsha@fudan.edu.cn
Xin Peng pengxin@fudan.edu.cn
Yiling Lou yilinglou@fudan.edu.cn
