DAComp

DAComp提供了一个研究级基准，涵盖完整的数据智能工作流程：仓库级数据工程（DAComp-DE）、开放式数据分析（DAComp-DA）、一个中文本地化分割（DAComp-zh），以及本仓库中配套的基线代理和评估套件。

DAComp provides a research-grade benchmark covering the full data intelligence workflow: repository-level data engineering (DAComp-DE), open-ended data analysis (DAComp-DA), a Chinese localization split (DAComp-zh), and the supporting baseline agents and evaluation suite included in this repository.

原始信息汇总

DAComp 数据集概述

数据集基本信息

• 数据集名称: DAComp
• 发布机构: ByteDance Seed Team
• 发布日期: 2025年12月8日
• 相关论文: DAComp: Benchmarking Data Agents across the Full Data Intelligence Lifecycle
• 数据集主页: https://huggingface.co/DAComp
• 项目官网: https://da-comp.github.io/

数据集简介

DAComp 是一个研究级基准测试，涵盖完整的数据智能工作流程。它旨在对数据代理（Data Agents）在整个数据智能生命周期中的能力进行基准测试。

核心组成部分

数据集包含两个主要子集：

1. DAComp-DA (Data Analysis): 面向开放式数据分析任务。
2. DAComp-DE (Data Engineering): 面向仓库级数据工程任务。
   • DE-Impl: 数据工程实现任务。
   • DE-Evol: 数据工程演进任务。
   • DE-Arch: 数据工程架构任务。

语言支持

• 提供英文任务。
• 提供中文本地化任务分支（DAComp-zh）。

数据获取与使用

• 下载地址: 数据集托管于 Hugging Face，可通过提供的脚本自动下载。
  • DAComp-DA 数据集下载脚本: dacomp-da/download.py
  • DAComp-DE 数据集下载脚本: dacomp-de/download.py
• 基线代理: 项目提供了基线代理实现，包括用于 DA 任务的三阶段基线 (methods/da-agent)、单阶段图像优先基线 (methods/spider-agent) 以及集成 OpenHands 的 DE 任务代理 (methods/de-agent)。
• 环境配置: 需使用 Python 3.12 创建 Conda 环境，并安装 requirements.txt 中列出的依赖项以及 openhands-ai、nodejs、poetry。

评估体系

• DAComp-DA 评估: 遵循 dacomp-da/evaluation_suite/README.md 中的指南。
• DAComp-DE 评估:
  • 标准任务（DE-Impl, DE-Evol）评估遵循 dacomp-de/evaluation_suite/README.md。
  • 架构任务（DE-Arch）评估遵循 dacomp-de/evaluation_suite_arch/README.md。
• 结果提交: 可将代理运行结果导出至指定目录，并参考 DAComp Submission Guidelines 提交至排行榜。

引用信息

如果使用本数据集，请引用以下论文：

@misc{lei2025dacomp, title={DAComp: Benchmarking Data Agents across the Full Data Intelligence Lifecycle}, author={Fangyu Lei and Jinxiang Meng and Yiming Huang and Junjie Zhao and Yitong Zhang and Jianwen Luo and Xin Zou and Ruiyi Yang and Wenbo Shi and Yan Gao and Shizhu He and Zuo Wang and Qian Liu and Yang Wang and Ke Wang and Jun Zhao and Kang Liu}, year={2025}, eprint={2512.04324}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2512.04324}, }

搜集汇总

数据集介绍

构建方式

在数据智能领域，构建一个能够全面评估数据代理能力的基准测试集至关重要。DAComp数据集通过精心设计的数据工程与数据分析任务，覆盖了完整的数据智能生命周期。其构建过程首先从开源代码仓库中提取真实世界的数据处理场景，随后由领域专家进行任务标注与验证，确保每个任务既具备实际应用价值，又符合严格的评估标准。数据集的英文与中文子集均经过本地化处理，以适配不同语言环境下的评估需求。

使用方法

为使用DAComp数据集，研究者需首先通过提供的脚本从指定平台下载数据，并按照指南配置相应的Python环境。针对数据分析任务，用户可选择集成好的基线智能体或自行配置模型进行实验运行。数据工程任务则提供了与开源框架集成的智能体方案。完成实验后，利用配套的评估套件对智能体在各项任务上的表现进行自动化评测，并可遵循提交指南将结果提交至官方排行榜，以促进学术交流与技术进步。

背景与挑战

背景概述

在数据科学和人工智能领域，全面评估数据智能代理的综合能力一直是研究的前沿课题。DAComp数据集由字节跳动Seed团队于2025年创建，旨在构建一个覆盖完整数据智能生命周期的基准测试平台。该数据集的核心研究问题聚焦于如何系统性地衡量数据代理在数据工程与数据分析等关键工作流中的性能，从而推动自动化数据智能技术的发展。其发布为相关领域提供了标准化的评估框架，对促进数据代理的算法创新与实际应用具有显著影响力。

当前挑战

DAComp数据集旨在解决数据智能代理在复杂、开放场景下的综合能力评估挑战，这要求代理不仅能执行结构化任务，还需具备理解自然语言指令、进行创造性分析和适应多语言环境的能力。在构建过程中，研究团队面临多方面的挑战，包括如何设计涵盖数据工程（如代码生成与架构设计）和数据分析（如洞察发现与可视化）的多样化任务，确保任务的真实性与复杂性；同时，创建高质量的中文本地化子集需要克服语言与文化差异带来的标注与验证困难，以保障数据集的代表性与可靠性。

常用场景

经典使用场景

在数据智能领域，DAComp数据集为评估数据代理在完整数据生命周期中的能力提供了标准化基准。其经典使用场景聚焦于系统性评测数据代理在数据工程与数据分析两大核心任务上的表现，涵盖从数据仓库级别的工程构建到开放式探索性分析的全流程。研究者通过该数据集能够模拟真实世界的数据处理环境，对代理的代码生成、逻辑推理及多模态理解能力进行综合检验，从而推动数据智能代理技术的迭代与优化。

解决学术问题

DAComp数据集致力于解决数据智能研究中长期存在的评估碎片化问题。传统研究往往孤立地考察数据工程或数据分析的单一环节，缺乏对端到端工作流的整体考量。该数据集通过整合仓库级数据工程、开放式数据分析及中文本地化任务，构建了统一且全面的评测框架，有效促进了跨任务、跨语言的模型能力对比研究，为学术界提供了衡量数据代理综合智能的可靠标尺。

实际应用

在实际应用层面，DAComp数据集为开发面向企业的智能数据助手提供了关键的训练与评估资源。其任务设计紧密贴合业务场景，例如自动化数据管道构建、复杂业务指标计算与可视化报告生成等。企业可利用该基准筛选或优化其数据代理系统，提升数据团队的工作效率与决策支持能力，加速数据驱动型组织的智能化转型进程。

数据集最近研究

最新研究方向

在数据智能领域，DAComp数据集作为一项综合性基准，正推动着数据代理技术向全生命周期智能化方向演进。其最新研究聚焦于构建覆盖数据工程与数据分析的端到端评估框架，通过引入中文本地化任务，探索跨语言环境下的数据智能泛化能力。该数据集与OpenHands等开源工具深度集成，反映了当前行业对自动化、可复现数据工作流的迫切需求，为评估大语言模型在复杂数据任务中的实际性能提供了标准化平台，有望加速数据代理从理论原型到工业应用的转化进程。