AweAI-Team/AweAgent-Meta-NL2Repo

该数据集为AweAgent运行NL2RepoBench评估提供了元数据，用于端到端的仓库级代码生成任务。它包含104个实例，每个实例以JSON对象形式存储在nl2repo_aweagent.jsonl文件中。元数据指导AweAgent执行评估，包括指定Docker镜像、自然语言任务描述、必须生成的文件列表、验证命令以及测试用例数量。数据集基于NL2RepoBench项目构建，仅重新打包了实例级元数据，以便AweAgent评估框架使用。

This dataset provides the metadata used by AweAgent to run the NL2RepoBench evaluation for end-to-end repository-level code generation. It consists of 104 instances, each represented as a JSON object in the nl2repo_aweagent.jsonl file. The metadata guides AweAgent in the evaluation process, including specifying the Docker image, natural-language task description, files to be produced, verification command, and number of test cases. Built on top of the NL2RepoBench project, it repackages per-instance metadata for use by AweAgents evaluation harness.

搜集汇总

数据集介绍

构建方式

AweAgent-Meta-NL2Repo数据集是专为AweAgent代理系统设计的元数据清单，旨在支撑其执行NL2RepoBench评测。该数据集从上游NL2RepoBench项目中提取104个代码仓库生成实例，将其重构为紧凑的机器可读格式。每条记录封装了评测所需的关键元数据：预构建的Docker评估镜像地址、自然语言项目规格描述、生成文件列表、验证命令及测试用例数量。数据以JSONL格式存储，每行代表一个评测实例，通过字段如instance_id、package_name、evaluation_image等结构化呈现，确保AweAgent评估流程的可复现性与高效性。

特点

该数据集的核心特色在于其作为AweAgent评测管线的元数据粘合剂，实现了从自然语言描述到可执行评测的端到端桥接。每条记录包含七个精心设计的字段，覆盖了从启动提示到验证全流程的原子化信息。数据集专注于提供轻量级、无冗余的实例清单，避免了底层基准的复杂设计细节，转而强调与AweAgent自治体的无缝集成。基于CC BY 4.0许可协议发布，既保证了开放的学术使用，也明确了对上游NL2RepoBench的溯源要求，体现了对原创工作的尊重。

使用方法

用户可通过HuggingFace Datasets库便捷加载该数据集，使用load_dataset('AweAI-Team/AweAgent-Meta-NL2Repo', split='train')即可获取全部104个训练实例。加载后的数据以字典形式呈现，可直接访问各字段如instance_id和start_instruction。该数据集主要面向AweAgent评估框架的自动化调用场景，开发者需联合AweAgent代码仓库中的评测编排器、评分逻辑及复现指南使用。典型工作流包含：加载元数据→根据start_instruction初始化代理→执行代码生成→通过verify_cmd在evaluation_image容器内验证生成仓库，最终依据test_cases_num统计得分。

背景与挑战

背景概述

随着大语言模型在代码生成领域的迅猛发展，仓库级别的代码生成任务逐渐成为评估模型对复杂项目理解和综合编程能力的关键基准。AweAgent-Meta-NL2Repo数据集由AweAI-Team团队于近期构建，旨在为AweAgent智能体系统提供运行NL2RepoBench评测所需的元数据。该数据集紧密依托于Multimodal Art Projection团队所创建的NL2RepoBench项目，后者专注于定义仓库级别的代码生成任务，涵盖从自然语言项目规格到完整Python软件包的全流程生成。AweAgent-Meta-NL2Repo的核心研究问题在于如何通过精简的机器可读清单，使智能体能够高效获取评测实例的关键信息，进而实现端到端的可复现评估。这一数据集的发布，为智能体在仓库级别代码生成领域的性能评测提供了标准化接口，推动了该研究方向的可复现性与透明度，对相关领域的实验验证和技术进步具有重要影响力。

当前挑战

该数据集及其底层基准所解决的领域挑战在于，传统的代码生成评测多聚焦于函数或代码片段级别，难以反映实际软件开发中从自然语言需求到完整仓库构建的复杂过程；NL2RepoBench通过包含104个实例的评测框架，要求智能体生成可通过测试的Python包，直面仓库级别代码生成的综合性难题。在数据集构建过程中，主要挑战包括：需要为每个预构建的Docker评测镜像和自然语言提示生成精确的元数据映射，确保验证命令与生成文件的严格对应；同时，需设计跨实例统一的验证流程和测试用例数量统计方案，以维护评测的公平性与可复现性。此外，将上游NL2RepoBench的基准实例重新打包为符合AweAgent评估管道期望的格式，也要求对元数据字段进行精心编排，以避免信息丢失或歧义，从而保障智能体能够可靠地执行端到端生成任务。

常用场景

经典使用场景

在代码生成与软件工程领域，AweAgent-Meta-NL2Repo数据集为端到端的仓库级别代码生成任务提供了标准化的评测元数据。该数据集将自然语言描述的项目规约与可执行的Python包生成目标紧密耦合，每个实例均包含Docker评估镜像、验证命令与测试用例数量等关键信息，使得研究者能够以统一、可复现的方式评估智能体从零构建完整软件仓库的能力。其经典用法是作为AweAgent评估管线的输入，通过加载该清单文件自动执行仓库生成、功能验证与评分流程，从而实现对自然语言到仓库代码转换任务效果的量化比较。

衍生相关工作

AweAgent-Meta-NL2Repo数据集根植于NL2RepoBench基准，其自身构成了AweAgent项目评测体系的核心组件。该元数据格式的设计理念启发了后续针对不同编程语言与项目规模的仓库级评测扩展，例如衍生工作中出现了面向Java或TypeScript项目的相似元数据结构定义，以及集成容器化测试环境的自动化评估框架。此外，该数据集的标准化清单格式也为构建更大规模多实例的仓库级代码生成训练集与微调任务提供了可借鉴的数据组织范式，推动形成了涵盖任务描述、验证管线与评分指标的完整评测生态系统。

数据集最近研究

最新研究方向

在仓库级代码生成的前沿领域，AweAgent-Meta-NL2Repo数据集作为NL2RepoBench的元数据载体，正推动着从自然语言项目描述到完整可运行Python包的端到端智能体生成能力研究。该数据集通过标准化104个实例的评估镜像、自然语言提示和验证脚本，为多模态智能体在真实软件开发场景中的表现提供了可复现的量化基准。其设计紧跟当前大模型驱动代码自动化的热点，聚焦于智能体能否理解复杂业务逻辑并生成符合测试套件的高质量仓库，对于衡量和提升AI在软件工程中的实用价值具有里程碑意义。