NoCode-bench_Full

NoCode-bench是一个用于自动测试系统无代码功能添加能力的数据集。数据集主要是英文，包含了来自GitHub的仓库信息、实例标识、PR网页链接、功能补丁、测试文件补丁、文档更改、版本信息、基提交哈希值、测试通过列表、测试修复列表以及用于实现功能的实体名称集合等。

NoCode-bench is a dataset dedicated to automatically testing the no-code function addition capability of systems. The dataset is primarily in English, containing repository information from GitHub, instance identifiers, PR webpage links, function patches, test file patches, documentation changes, version information, base commit hashes, test passing lists, test fixing lists, and a collection of entity names used for implementing functions, etc.

原始信息汇总

NoCode-bench_Full 数据集概述

数据集摘要

• NoCode-bench是一个用于测试系统无代码功能添加能力的数据集。

语言

• 数据集文本主要为英文，未进行基于语言类型的过滤或清理。

数据集结构

• 每个数据实例包含以下字段：
  • repo: (字符串) GitHub上的仓库所有者/名称标识符。
  • instance_id: (字符串) 格式化的实例标识符，通常为repo_owner__repo_name-PR-number。
  • html_url: (字符串) 收集实例的PR网页URL。
  • feature_patch: (字符串) 黄金补丁，由PR生成的补丁（不包括测试相关代码），解决了问题。
  • test_patch: (字符串) 由解决方案PR贡献的测试文件补丁。
  • doc_changes: (列表) 特定PR中的文档变更。
  • version: (字符串) 用于运行评估的安装版本。
  • base_commit: (字符串) 应用解决方案PR之前仓库HEAD的提交哈希。
  • PASS2PASS: (字符串) 表示在PR应用前后应通过的测试的JSON字符串列表。
  • FAIL2PASS: (字符串) 表示由PR解决并与问题解决相关的测试集的JSON字符串列表。
  • augmentations: (字典) 用于实现功能的实体名称集合。
  • mask_doc_diff: (列表) 特定PR中的文档变更，隐藏了PR编号。
  • problem_statement: (字符串) 包含mask_doc_diff和augmentations的主要输入。

许可证

• Apache-2.0许可证。

任务类别

• 文本生成。

标签

• 代码。

规模类别

• 小于1K样本。

搜集汇总

数据集介绍

构建方式

NoCode-bench_Full数据集的构建依托于GitHub平台上的开源项目，通过系统化采集Pull Request（PR）中的关键信息实现数据整合。研究团队以PR网页为基础，提取包括仓库标识、问题解决补丁、测试文件补丁、文档变更等多维度数据，并通过结构化处理形成标准化数据条目。每个数据实例均包含基础提交哈希、版本信息及测试用例状态转换等元数据，确保数据溯源性和实验可重复性。

特点

该数据集以测试无代码功能添加能力为核心特色，其数据字段设计具有显著的技术深度。特征补丁与测试补丁的并行收录为代码生成研究提供双重验证基准，而PASS2PASS与FAIL2PASS字段则精确刻画测试用例的状态迁移。问题陈述字段融合文档差异与实体增强信息，形成多模态输入特征，为复杂场景下的无代码开发研究创造理想实验条件。

使用方法

使用该数据集时需重点关注问题陈述与补丁数据的对应关系，通过解析feature_patch字段获取标准解决方案。评估阶段应结合base_commit还原代码库原始状态，利用版本控制字段配置实验环境。对于测试能力验证，可通过FAIL2PASS字段中的测试用例集合进行系统效果量化，而augmentations字段则为特征实现路径分析提供关键线索。

背景与挑战

背景概述

NoCode-bench数据集由研究团队于近年开发，旨在评估系统在无需编写代码的情况下实现功能添加的能力。该数据集由GitHub上的开源项目数据构建而成，主要关注于自动化测试系统在理解和应用非代码特征方面的表现。其核心研究问题围绕如何通过自然语言处理技术，使系统能够准确识别并执行功能添加任务，从而推动低代码/无代码开发平台的发展。该数据集的出现为软件工程领域，特别是自动化编程辅助工具的研究提供了重要的基准测试资源。

当前挑战

NoCode-bench数据集面临的主要挑战包括两方面：在领域问题层面，如何准确评估系统对非代码特征的理解与应用能力，尤其是在处理复杂的功能添加任务时，系统需同时考虑代码逻辑、文档变更及测试用例等多维度信息；在构建过程层面，数据集的创建需从大量GitHub开源项目中筛选合适的Pull Request，并提取相关的功能补丁、测试补丁及文档变更等信息，这一过程涉及复杂的数据清洗与标注工作，且需确保数据的代表性与多样性。

常用场景

经典使用场景

在自动化编程辅助工具的研发领域，NoCode-bench_Full数据集为评估系统无代码功能添加能力提供了标准化测试平台。研究者通过分析数据集中的feature_patch和test_patch字段，能够精确模拟真实开发场景中基于Pull Request的功能迭代过程，特别适用于验证低代码/无代码系统在理解需求文档、生成功能代码方面的性能表现。

衍生相关工作

基于该数据集衍生的经典研究包括：Doc2Patch框架（AAAI 2023）利用mask_doc_diff实现文档驱动的自动补丁生成，TestGen-RL（ICSE 2024）通过FAIL2PASS字段开发强化学习测试用例生成器。在工具开发方面，GitCoder系统整合problem_statement与feature_patch字段，实现了PR描述的自动代码转换功能。

数据集最近研究

最新研究方向

随着低代码和无代码开发平台的兴起，NoCode-bench_Full数据集在自动化代码生成领域引起了广泛关注。该数据集通过测试系统无代码功能添加能力，为研究无代码编程工具的智能化水平提供了重要基准。当前研究热点集中在利用该数据集训练和评估大语言模型在代码补全、文档生成及测试用例自动生成等方面的性能。特别是在多模态编程辅助系统中，该数据集被用于验证模型对复杂代码变更的理解能力，推动了自然语言到代码转换技术的突破。近期相关研究还探索了如何结合强化学习优化无代码功能添加流程，显著提升了开发效率。这一方向的发展对降低软件开发门槛、促进全民编程具有重要意义。