DONG19/EffiBench
收藏数据集卡片 for "EffiBench: Benchmarking the Efficiency of Code Generated by Large Language Models"
数据集描述
数据集摘要
EffiBench 数据集由 EffiBench 发布，包含 1000 个针对大型语言模型生成代码效率评估的问题。这些问题涵盖了广泛的编程任务，强调对生成代码的计算效率、算法优化和资源管理的评估。该数据集旨在供专注于高级代码生成模型开发和评估的研究人员和实践者使用，特别是在人工智能驱动的软件工程背景下。
支持的任务和排行榜
EffiBench 可用于以下任务：
- 代码生成：评估语言模型生成语法和语义正确代码的能力。
- 效率评估：评估生成代码的计算效率，包括时间和内存使用。
- 算法优化：评估模型对算法进行性能优化的能力。
可以根据代码效率、正确性和资源利用等指标建立排行榜。
语言
EffiBench 中的问题以[编程语言]呈现，适合全球的 AI 研究人员和开发者。
数据集结构
数据实例
EffiBench 的一个数据实例示例如下： json { "problem_id": "001", "problem_statement": "Write a function to optimize...", "input_format": "...", "output_format": "...", "constraints": "...", "example_input": "...", "example_output": "...", "optimal_solution": "..." }
数据字段
problem_id：每个问题的唯一标识符。problem_statement：问题的详细描述。input_format：输入数据的格式。output_format：预期的输出格式。constraints：问题的特定约束。example_input：问题的示例输入。example_output：示例输入对应的输出。optimal_solution：问题的最优解，用作基准。
数据分割
EffiBench 分为以下几个部分：
- 训练：X 个问题
- 验证：Y 个问题
- 测试：Z 个问题
数据集创建
策划理由
[解释数据集创建的原因和方式。]
源数据
初始数据收集和规范化
[描述数据收集过程。]
源语言生产者是谁？
[关于创建原始语言数据的个人或组织的信息。]
注释
注释过程
[描述创建注释的过程。]
谁是注释者？
[关于提供注释的个人或组的信息，如果适用。]
个人和敏感信息
[关于数据集中包含的任何个人或敏感信息以及采取的保护隐私措施的详细信息。]
使用数据的注意事项
数据集的社会影响
[讨论数据集的潜在社会影响，正面或负面。]
偏见的讨论
[讨论数据集中存在的任何偏见及其潜在影响。]
其他已知限制
[讨论数据集的其他已知限制。]
附加信息
数据集策展人
[关于策划数据集的个人或组织的信息。]
许可信息
[关于数据集许可的信息（例如，MIT，Apache 2.0）。]
引用信息
bibtex @inproceedings{effibench2024, title={EffiBench: Benchmarking the Efficiency of Code Generated by Large Language Models}, author={...}, booktitle={...}, year={2024} }
联系信息
[关于数据集问题或反馈的联系详情。]
致谢
[对为数据集做出贡献的个人或组织的致谢。]
