CoDA-Bench

CoDA-Bench（代码和数据密集型基准）是一个用于评估AI智能体在数据密集型分析任务上的基准。给定一个自然语言问题并访问包含数百个数据文件的Linux沙箱，智能体必须发现相关数据、编写代码并生成正确答案。

CoDA-Bench (Code and Data-intensive Benchmark) is a benchmark for evaluating AI Agents on data-intensive analytical tasks. Given a natural language question and access to a Linux sandbox containing hundreds of data files, the agents must discover relevant data, write code, and generate the correct answer.

原始信息汇总

数据集概述

CoDA-Bench（Code and Data-intensive Benchmark） 是一个用于评估 AI 智能体在数据密集型分析任务中表现的基准测试，相关论文已被 ICML 2026 接收。

核心目标

• 测试 AI 智能体在给定自然语言问题和包含数百个数据文件的 Linux 沙箱环境后，能否自主发现相关数据、编写代码并得出正确答案。
• 区别于直接提供标准数据集的现有基准，CoDA-Bench 要求智能体具备以下能力：
  • 数据发现：在数百个语义相似的文件中定位相关数据。
  • 文件层级导航：在复杂的 Linux 沙箱文件结构中导航。
  • 多源数据整合：整合来自多个异构数据源的信息。
  • 代码生成：为数据分析任务生成正确的代码。

数据集统计

指标	数值
总任务数	1,009（完整） / 119（困难子集）
社区数量	31（完整） / 15（困难子集）
源数据集	199 个 Kaggle 数据集
每个任务平均文件数	~980 个文件
总大小	~43 GB（压缩后）

数据来源与内容

• 数据来源于 Kaggle 社区，包含 199 个 Kaggle 数据集，被组织为 31 个社区（community）。
• 每个任务对应一个社区，智能体需要访问该社区的完整数据目录（datasets/communities/{release_community}/full_community）。
• 任务格式为 JSON，包含：
  • instance_id：唯一标识符
  • question：自然语言问题
  • answer：预期答案
  • release_community：对应的社区数据目录名称

可用性与访问

• 主页：https://coda-bench.github.io/
• 数据集下载：HuggingFace 地址 https://huggingface.co/datasets/RUC-DataLab/CoDA-Bench
• 代码与文档：GitHub 仓库 https://github.com/ruc-datalab/CoDA-Bench
• 许可证：MIT License（注：各个 Kaggle 数据集可能有自己的许可证）

评估方式

• Docker 模式（推荐）：提供安全的隔离环境，限制智能体访问网络（仅允许 LLM API），并强制执行资源限制（内存、CPU、超时）。
• 手动评估模式：允许用户直接加载数据集，运行自定义智能体，并生成预测结果（JSONL 格式）。
• 评估指标：
  • 执行准确率 (EA)：答案是否正确。
  • 发现准确率 (DA)：是否发现了正确的相关数据。

任务示例

json { "instance_id": 0, "question": "What is the percentage of missing values in the RBC feature?", "answer": "38%", "release_community": "community_26" }

智能体需导航至 datasets/communities/community_26/full_community/，在约 980 个文件中找到 ckdisease/source/kidney_disease.csv，加载数据并计算 RBC 特征缺失值的百分比。

当前性能

截至论文发表时，Best 系统为 Mini-SWE-Agent（基于 GPT-5.5），在完整数据集的执行准确率为 61.1%，困难子集为 49.6%，发现准确率为 52.3%。

引用信息

bibtex @inproceedings{zhang2026codabench, title={CoDA-BENCH: Can Code Agents Handle Data-Intensive Tasks?}, author={Zhang, Yuxin and Fan, Ju and Fan, Meihao and Zhang, Shaolei and Du, Xiaoyong}, booktitle={Proceedings of the 43rd International Conference on Machine Learning}, year={2026}, organization={PMLR} }

搜集汇总

数据集介绍

构建方式

CoDA-Bench的构建过程匠心独运，旨在模拟真实世界中代码智能体面临的海量数据密集型分析场景。该基准测试基于199个来自Kaggle社区的原始数据集，经过系统化整合与重构，形成了31个主题社区，最终衍生出涵盖1009个任务的完整评估集。每个任务的设计均遵循严谨的流程：由自然语言问题、预期答案及关联社区数据构成，确保智能体无法通过简单检索获取答案，而必须深入包含近千个语义相似文件的Linux沙箱环境中自主挖掘相关数据、编写代码进行推理。

特点

该数据集的核心特色在于其对真实数据密集型任务的深刻映射。区别于传统基准测试直接提供标准数据源，CoDA-Bench要求智能体在混杂的文件系统中进行精准数据发现，并处理跨来源的异构数据整合。整个数据集规模约43GB，每个任务平均配备近980个文件，极大考验了智能体的文件导航、模式识别与代码生成能力。此外，数据集创新性地划分了完整集与由119个高难度任务组成的子集，专门针对需要深度推理的复杂场景，为细致评估智能体在不同难度下的表现提供了可能。

使用方法

使用CoDA-Bench评估智能体时，推荐采用Docker模式以构建安全、可复现的隔离环境。操作流程始于克隆仓库并通过脚本自动下载数据集与社区数据压缩包。随后，构建专用的Docker镜像，配置LLM的API密钥。运行评估时，可通过命令行指定待测模型与并行工作线程数，系统将自动在沙箱中执行智能体的探索与回答任务。完成后，利用内置评估工具比较预测结果与标准答案，输出涵盖执行准确率与发现准确率的多维度评分报告。该流程不仅保证了评估的公正性，也为不同模型间的横向对比提供了标准化框架。

背景与挑战

背景概述

随着大语言模型与代码智能体的蓬勃发展，如何评估它们在真实世界复杂数据分析任务中的能力成为关键课题。由中国人民大学张宇鑫、樊驹、范美浩、张少磊、杜小勇等研究者于2026年提出的CoDA-Bench基准，旨在填补现有评测体系在数据密集型任务上的空白。该基准包含1009个任务，覆盖31个社区，源自199个Kaggle数据集，每个任务需要智能体在包含约980个文件的Linux沙盒环境中自主发现相关数据、编写代码并得出正确答案。CoDA-Bench被ICML 2026接收，为衡量代码智能体在数据探索、集成与推理方面的综合能力提供了标准化测试平台。

当前挑战

CoDA-Bench所解决的领域挑战在于，传统基准通常直接提供目标数据，忽视了真实场景中数据分散、语义相似文件众多、文件层次复杂且需多源异构数据整合的难题。智能体必须具备从数百个文件中自主发现目标数据的能力，这对其信息检索与模式识别提出了严峻考验。在构建过程中，挑战集中于数据集规模化与任务设计的平衡：如何从199个Kaggle数据集提炼出既覆盖广泛领域又保持难度梯度的评测任务，以及如何构建43GB的沙盒环境以模拟真实数据密集型工作流，同时确保评测的隔离性与可复现性。

常用场景

经典使用场景

在人工智能与数据科学交叉领域，CoDA-Bench被设计为评估代码代理（Code Agent）在数据密集型分析任务中综合能力的基准测试平台。其经典使用场景是让智能体置身于一个包含数百个异构数据文件的Linux沙盒环境中，面对自然语言提出的复杂问题（如统计某医学数据集中特定特征的缺失值比例），自主完成从数据发现、文件层级导航、多源信息整合到代码生成与结果输出的完整知识链。不同于传统基准直接提供目标数据，CoDA-Bench迫使代理在语义相似的庞杂文件中识别相关资源，这使得它成为检验具身智能体在真实数据仓库环境下，执行端到端数据科学流水线的黄金标准。

实际应用

在实际产业应用中，CoDA-Bench模拟了数据分析师日常面临的典型困境：面对散落在不同文件夹、格式混杂的CSV文件，快速定位关键字段并编写清洗与聚合代码。该基准为金融领域的风险因子回溯、医疗健康领域的患者多模态数据整合、电商平台的用户行为漏斗分析等场景提供了可靠的代理能力验证工具。企业可基于此基准选择或定制最适合其数据基础设施的代码智能体，显著降低从日志挖掘到运营报表自动生成的人力成本，加速从原始数据到业务洞察的转化效率，尤其适用于数据湖架构下的即席查询与临时分析需求。

衍生相关工作

CoDA-Bench的发布催生了一系列衍生研究。在方法层面，研究者基于其任务设计开发了专门的数据路径规划算法，如通过语义缓存减少文件扫描开销的检索增强代码生成框架，以及融合文件层级信息的图神经网络导航器。在模型层面，衍生了针对数据发现能力优化的微调策略，如基于强化学习的探索奖励塑造。在系统层面，出现了集成CoDA-Bench评估套件的智能体开发平台，支持用户自定义沙盒环境与私有数据注入。此外，该基准还启发了诸如多轮对话式数据审计、跨表格实体对齐等新兴子问题的标准测试集构建，形成了围绕数据密集型代码智能体的完整研究生态。