autoiac-project/iac-eval

IaC-Eval数据集是第一个人类策划的、具有挑战性的基础设施即代码（IaC）数据集，旨在更严格地评估大型语言模型在IaC代码生成方面的能力。该数据集包含458个问题，涵盖从简单到困难的各种云服务（目前主要针对AWS）。

原始信息汇总

IaC-Eval 数据集概述

基本信息

• 许可证: CC-BY-4.0
• 任务类别: 文本生成
• 标签: 代码生成, IaC, 云服务
• 数据集大小: 小于1K
• 配置:
  • 默认配置:
    • 测试数据文件: data.csv

数据集描述

IaC-Eval 数据集是首个由人类策划的、针对基础设施即代码（IaC）的挑战性数据集，旨在更严格地基准测试大型语言模型在IaC代码生成能力上的表现。该数据集包含458个问题，涵盖从简单到困难的不同难度级别，并针对多种云服务（目前主要针对AWS）。

使用说明

• 选项1: 直接运行评估基准，详细指南请参考 Github。
• 选项2: 通过HuggingFace加载数据集，具体操作请参考 ./README-dataset-instructions.md。

数据集维护

如遇到数据集中的任何错误，请在我们的问题页面上报告行号，我们将相应处理。我们的团队致力于长期维护此数据集，以确保其质量。