ambig-iac
收藏资源简介：
Ambig-IaC 是一个用于测试从模糊自然语言意图生成基础设施即代码（Terraform）配置的AI代理的基准数据集。该数据集包含300个任务，每个任务包括模糊的自然语言需求（prompt）、详细的结构化规范（intent）、参考Terraform配置（main_tf）、OPA/Rego验证策略（checks_rego）以及Terraform计划的JSON输出（plan_json）。数据集来源于IaC-Eval，并经过手动修复和验证，确保所有任务都能通过`terraform plan`。该数据集适用于研究AI代理在生成基础设施配置时的表现、歧义消除策略以及配置的迭代优化。数据集统计信息包括平均提示长度约60词，平均意图长度约12行，平均Terraform配置长度约98行，平均Rego策略长度约69行，覆盖AWS基础设施（如Route 53、CloudWatch、VPC、Kinesis、IAM等）。数据集采用MIT许可证。
Ambig-IaC is a benchmark dataset for evaluating AI agents that generate Infrastructure as Code (Terraform) configurations from ambiguous natural language intents. This dataset consists of 300 tasks, each containing ambiguous natural language requirements (prompt), detailed structured specifications (intent), reference Terraform configurations (main_tf), OPA/Rego validation policies (checks_rego), and JSON outputs of Terraform plans (plan_json). The dataset is derived from IaC-Eval, and has been manually repaired and verified to ensure that all tasks can pass the `terraform plan` command. This dataset is suitable for researching the performance of AI agents when generating infrastructure configurations, ambiguity resolution strategies, and iterative optimization of configurations. Dataset statistics include an average prompt length of approximately 60 words, an average intent length of about 12 lines, an average Terraform configuration length of around 98 lines, an average Rego policy length of roughly 69 lines, and covers AWS infrastructure such as Route 53, CloudWatch, VPC, Kinesis, IAM, etc. The dataset is released under the MIT License.
Ambig-IaC: Ambiguous Infrastructure-as-Code Benchmark 数据集概述
数据集基本信息
- 数据集名称: Ambig-IaC
- 许可证: MIT
- 主要语言: 英语 (en)
- 数据规模: 小于1K样本
- 任务类别: 文本生成、问答
- 相关标签: 基础设施即代码、Terraform、代码生成、模糊性、OPA、Rego
数据集描述
这是一个包含300个任务的基准数据集，用于测试从模糊的自然语言意图生成基础设施即代码（Terraform）配置的人工智能代理。
数据集源自 IaC-Eval。我们对原始的Terraform配置进行了手动修复，并验证了所有300个任务都能通过 terraform plan。每个任务还包含JSON格式的相应计划输出（plan_json字段），这比原始的HCL更易于程序化解析和比较。
给定一个模糊的基础设施请求（例如，“我需要一种方法来跟踪针对我们域进行的查找”），代理需要生成一个有效的Terraform配置。每个任务都包含完全指定的意图、一个参考的Terraform实现，以及用于评估代理输出的OPA/Rego验证策略。
该数据集可用于研究：
- 人工智能代理从未充分指定的需求中生成正确IaC配置的能力
- IaC生成中的消歧策略
- 基础设施配置的迭代优化
数据字段
| 字段名 | 类型 | 描述 |
|---|---|---|
id |
int | 任务索引 (0-299) |
prompt |
string | 模糊的自然语言需求（平均约60个单词） |
prompt_original |
string | 包含特定资源名称的原始详细需求 |
intent |
string | 列出确切资源和属性的结构化规范 |
main_tf |
string | 参考的Terraform (HCL) 配置 |
checks_rego |
string | 用于验证的OPA/Conftest Rego策略 |
plan_json |
string | Terraform计划JSON输出 |
数据集统计
- 任务数量: 300
- 平均提示长度: 约60个单词
- 平均意图长度: 约12行
- 平均main.tf长度: 约98行
- 平均checks.rego长度: 约69行
- 领域: AWS基础设施（Route 53, CloudWatch, VPC, Kinesis, IAM等）
使用方式
python from datasets import load_dataset
ds = load_dataset("znyang/ambig-iac")
访问一个任务
task = ds["train"][0] print(task["prompt"]) # 模糊需求 print(task["intent"]) # 详细规范 print(task["main_tf"]) # 参考Terraform代码
项目页面
https://zyang37.github.io/ambig-iac.github.io/
