DAComp
收藏资源简介：
DAComp提供了一个研究级基准，涵盖完整的数据智能工作流程：仓库级数据工程（DAComp-DE）、开放式数据分析（DAComp-DA）、一个中文本地化分割（DAComp-zh），以及本仓库中配套的基线代理和评估套件。
DAComp provides a research-grade benchmark covering the full data intelligence workflow: repository-level data engineering (DAComp-DE), open-ended data analysis (DAComp-DA), a Chinese localization split (DAComp-zh), and the supporting baseline agents and evaluation suite included in this repository.
DAComp 数据集概述
数据集基本信息
- 数据集名称: DAComp
- 发布机构: ByteDance Seed Team
- 发布日期: 2025年12月8日
- 相关论文: DAComp: Benchmarking Data Agents across the Full Data Intelligence Lifecycle
- 数据集主页: https://huggingface.co/DAComp
- 项目官网: https://da-comp.github.io/
数据集简介
DAComp 是一个研究级基准测试，涵盖完整的数据智能工作流程。它旨在对数据代理（Data Agents）在整个数据智能生命周期中的能力进行基准测试。
核心组成部分
数据集包含两个主要子集：
- DAComp-DA (Data Analysis): 面向开放式数据分析任务。
- DAComp-DE (Data Engineering): 面向仓库级数据工程任务。
- DE-Impl: 数据工程实现任务。
- DE-Evol: 数据工程演进任务。
- DE-Arch: 数据工程架构任务。
语言支持
- 提供英文任务。
- 提供中文本地化任务分支（DAComp-zh）。
数据获取与使用
- 下载地址: 数据集托管于 Hugging Face，可通过提供的脚本自动下载。
- DAComp-DA 数据集下载脚本:
dacomp-da/download.py - DAComp-DE 数据集下载脚本:
dacomp-de/download.py
- DAComp-DA 数据集下载脚本:
- 基线代理: 项目提供了基线代理实现，包括用于 DA 任务的三阶段基线 (
methods/da-agent)、单阶段图像优先基线 (methods/spider-agent) 以及集成 OpenHands 的 DE 任务代理 (methods/de-agent)。 - 环境配置: 需使用 Python 3.12 创建 Conda 环境，并安装
requirements.txt中列出的依赖项以及openhands-ai、nodejs、poetry。
评估体系
- DAComp-DA 评估: 遵循
dacomp-da/evaluation_suite/README.md中的指南。 - DAComp-DE 评估:
- 标准任务（DE-Impl, DE-Evol）评估遵循
dacomp-de/evaluation_suite/README.md。 - 架构任务（DE-Arch）评估遵循
dacomp-de/evaluation_suite_arch/README.md。
- 标准任务（DE-Impl, DE-Evol）评估遵循
- 结果提交: 可将代理运行结果导出至指定目录，并参考 DAComp Submission Guidelines 提交至排行榜。
引用信息
如果使用本数据集，请引用以下论文：
@misc{lei2025dacomp, title={DAComp: Benchmarking Data Agents across the Full Data Intelligence Lifecycle}, author={Fangyu Lei and Jinxiang Meng and Yiming Huang and Junjie Zhao and Yitong Zhang and Jianwen Luo and Xin Zou and Ruiyi Yang and Wenbo Shi and Yan Gao and Shizhu He and Zuo Wang and Qian Liu and Yang Wang and Ke Wang and Jun Zhao and Kang Liu}, year={2025}, eprint={2512.04324}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2512.04324}, }
