ambig-iac

Ambig-IaC 是一个用于测试从模糊自然语言意图生成基础设施即代码（Terraform）配置的AI代理的基准数据集。该数据集包含300个任务，每个任务包括模糊的自然语言需求（prompt）、详细的结构化规范（intent）、参考Terraform配置（main_tf）、OPA/Rego验证策略（checks_rego）以及Terraform计划的JSON输出（plan_json）。数据集来源于IaC-Eval，并经过手动修复和验证，确保所有任务都能通过`terraform plan`。该数据集适用于研究AI代理在生成基础设施配置时的表现、歧义消除策略以及配置的迭代优化。数据集统计信息包括平均提示长度约60词，平均意图长度约12行，平均Terraform配置长度约98行，平均Rego策略长度约69行，覆盖AWS基础设施（如Route 53、CloudWatch、VPC、Kinesis、IAM等）。数据集采用MIT许可证。

Ambig-IaC is a benchmark dataset for evaluating AI agents that generate Infrastructure as Code (Terraform) configurations from ambiguous natural language intents. This dataset consists of 300 tasks, each containing ambiguous natural language requirements (prompt), detailed structured specifications (intent), reference Terraform configurations (main_tf), OPA/Rego validation policies (checks_rego), and JSON outputs of Terraform plans (plan_json). The dataset is derived from IaC-Eval, and has been manually repaired and verified to ensure that all tasks can pass the `terraform plan` command. This dataset is suitable for researching the performance of AI agents when generating infrastructure configurations, ambiguity resolution strategies, and iterative optimization of configurations. Dataset statistics include an average prompt length of approximately 60 words, an average intent length of about 12 lines, an average Terraform configuration length of around 98 lines, an average Rego policy length of roughly 69 lines, and covers AWS infrastructure such as Route 53, CloudWatch, VPC, Kinesis, IAM, etc. The dataset is released under the MIT License.

原始信息汇总

Ambig-IaC: Ambiguous Infrastructure-as-Code Benchmark 数据集概述

数据集基本信息

• 数据集名称: Ambig-IaC
• 许可证: MIT
• 主要语言: 英语 (en)
• 数据规模: 小于1K样本
• 任务类别: 文本生成、问答
• 相关标签: 基础设施即代码、Terraform、代码生成、模糊性、OPA、Rego

数据集描述

这是一个包含300个任务的基准数据集，用于测试从模糊的自然语言意图生成基础设施即代码（Terraform）配置的人工智能代理。

数据集源自 IaC-Eval。我们对原始的Terraform配置进行了手动修复，并验证了所有300个任务都能通过 terraform plan。每个任务还包含JSON格式的相应计划输出（plan_json字段），这比原始的HCL更易于程序化解析和比较。

给定一个模糊的基础设施请求（例如，“我需要一种方法来跟踪针对我们域进行的查找”），代理需要生成一个有效的Terraform配置。每个任务都包含完全指定的意图、一个参考的Terraform实现，以及用于评估代理输出的OPA/Rego验证策略。

该数据集可用于研究：

• 人工智能代理从未充分指定的需求中生成正确IaC配置的能力
• IaC生成中的消歧策略
• 基础设施配置的迭代优化

数据字段

字段名	类型	描述
id	int	任务索引 (0-299)
prompt	string	模糊的自然语言需求（平均约60个单词）
prompt_original	string	包含特定资源名称的原始详细需求
intent	string	列出确切资源和属性的结构化规范
main_tf	string	参考的Terraform (HCL) 配置
checks_rego	string	用于验证的OPA/Conftest Rego策略
plan_json	string	Terraform计划JSON输出

数据集统计

• 任务数量: 300
• 平均提示长度: 约60个单词
• 平均意图长度: 约12行
• 平均main.tf长度: 约98行
• 平均checks.rego长度: 约69行
• 领域: AWS基础设施（Route 53, CloudWatch, VPC, Kinesis, IAM等）

使用方式

python from datasets import load_dataset

ds = load_dataset("znyang/ambig-iac")

访问一个任务

task = ds["train"][0] print(task["prompt"]) # 模糊需求 print(task["intent"]) # 详细规范 print(task["main_tf"]) # 参考Terraform代码

项目页面

https://zyang37.github.io/ambig-iac.github.io/

搜集汇总

数据集介绍

构建方式

在基础设施即代码领域，评估人工智能代理处理模糊需求的能力至关重要。Ambig-IaC数据集源自IaC-Eval项目，通过人工修正原始Terraform配置并验证所有300项任务均通过terraform plan测试，确保了配置的准确性与可执行性。每个任务不仅包含模糊的自然语言意图提示，还提供了完整的参考Terraform实现、结构化意图说明以及用于验证的OPA/Rego策略，同时附带了易于程序化解析的JSON格式计划输出，为研究提供了扎实的数据基础。

使用方法

研究人员可通过HuggingFace的datasets库直接加载数据集，便捷地访问每个任务的模糊提示、结构化意图及参考代码。利用数据集中的Terraform配置与OPA/Rego验证策略，可以系统测试人工智能代理在生成基础设施代码时的准确性与鲁棒性，同时JSON格式的计划输出支持程序化比较与分析，有助于深入探究代理在模糊需求下的消歧策略与配置迭代优化过程。

背景与挑战

背景概述

随着云计算与DevOps实践的深度融合，基础设施即代码（IaC）已成为自动化资源管理的关键范式。Ambig-IaC数据集由研究人员于2024年创建，源自IaC-Eval项目，旨在评估人工智能代理从模糊自然语言意图生成Terraform配置的能力。该数据集包含300项任务，覆盖AWS基础设施的多个领域，如Route 53、CloudWatch和VPC，其核心研究问题聚焦于如何解决需求描述中的歧义性，推动IaC生成技术的精确性与适应性发展，为自动化运维领域提供了重要的基准测试工具。

当前挑战

该数据集致力于应对基础设施即代码生成中自然语言歧义解析的挑战，要求模型在资源类型、属性及依赖关系未明确指定的情况下，产出符合安全与功能要求的Terraform配置。构建过程中的挑战包括对原始Terraform配置进行人工修正与验证，确保所有任务均通过`terraform plan`检查，并整合OPA/Rego策略以实现程序化评估，同时保持数据在语义一致性与结构复杂性间的平衡。

常用场景

经典使用场景

在基础设施即代码（IaC）领域，自动化配置生成面临从模糊自然语言意图中准确解析需求的挑战。Ambig-IaC数据集通过提供300个基于AWS环境的模糊任务，成为评估AI代理生成Terraform配置能力的基准工具。经典使用场景涉及将如“我需要追踪针对我们域名的查询记录”这类模糊需求，转化为符合行业规范的可执行HCL代码，从而测试模型在资源类型、属性推断及依赖关系构建方面的综合性能。

解决学术问题

该数据集主要针对IaC生成中语义歧义消解与需求规约的学术难题。通过提供结构化意图说明与验证策略，它支持研究AI代理在信息不完全场景下的推理能力，例如如何从简短描述中推断出必需的CloudWatch警报或IAM策略。其意义在于建立了可重复的评估框架，推动代码生成模型从语法正确性向语义准确性跨越，为自动化运维中的意图理解提供了实证基础。

实际应用

在实际云基础设施管理中，Ambig-IaC可直接应用于智能运维助手开发。企业可利用其训练系统，将非技术团队提出的模糊基础设施需求（如“设置一个安全的数据流管道”）自动转换为标准化的Terraform模块，大幅降低沟通与实施成本。同时，数据集内嵌的OPA/Rego验证策略为生成代码的安全性与合规性检查提供了自动化测试流程，增强了生产环境部署的可靠性。

数据集最近研究

最新研究方向

在基础设施即代码（IaC）领域，随着云原生技术的普及，自动化配置生成成为研究热点。Ambig-IaC数据集聚焦于从模糊自然语言意图生成Terraform配置的挑战，推动了AI代理在歧义消解与迭代优化方面的前沿探索。当前研究重点包括利用大语言模型增强意图理解能力，结合OPA/Rego策略验证生成代码的合规性，并探索多轮交互式反馈机制以提升配置准确性。该数据集为评估AI代理在真实场景中的适应性与鲁棒性提供了基准，促进了IaC生成技术在安全性与效率方面的交叉融合，对云基础设施自动化管理具有重要实践意义。