RUC-DataLab/CoDA-Bench

CoDA-Bench（代码与数据密集型基准）是首个在现实数据密集型环境中联合评估AI代理代码智能和数据智能的基准。与直接提供标准数据的现有基准不同，它要求代理在包含数百个语义相似文件的Linux沙盒环境中，发现相关数据、导航复杂文件层次、整合来自多个异构数据源的信息，并为数据驱动分析任务生成正确代码。数据集包含全基准（1,009个任务，覆盖31个社区）和困难子集（119个挑战性任务，覆盖15个社区），源数据来自267个笔记本中的199个Kaggle数据集，平均每个环境有980个文件（总压缩约43 GB）。CoDA-Bench (Code and Data-Intensive Benchmark) is the first benchmark to jointly evaluate AI agents' code intelligence and data intelligence in real-world data-intensive environments. Unlike existing benchmarks that directly provide standardized datasets, it requires agents to discover relevant data, navigate complex file hierarchies, integrate information from multiple heterogeneous data sources, and generate correct code for data-driven analysis tasks within a Linux sandbox environment housing hundreds of semantically similar files. The benchmark consists of two parts: a full benchmark set with 1,009 tasks spanning 31 communities, and a challenging hard subset with 119 tasks spanning 15 communities. The source data is derived from 199 Kaggle datasets across 267 notebooks, with an average of 980 files per environment and a total compressed size of approximately 43 GB.

搜集汇总

数据集介绍

构建方式

CoDA-Bench是首个联合评估代码智能与数据智能的基准测试，旨在模拟真实世界中智能体在数据密集型环境下的表现。该数据集基于199个Kaggle数据集的267个笔记本构建，涵盖31个社区共1,009个任务，并从中筛选出119个高难度任务形成hard子集。每个任务在一个平均包含约980个文件的Linux沙盒环境中执行，总压缩存储约43 GB，构建过程强调从数百个语义相似的文件中自主发现、导航复杂层级并整合多源信息，以生成正确的数据分析代码。

使用方法

CoDA-Bench以JSON格式存储，主要提供`default`和`hard`两种配置，分别对应`coda_bench.json`和`coda_bench_hard.json`文件。用户可通过HuggingFace的`datasets`库直接加载测试集，亦支持从GitHub仓库获取完整代码与评估脚本。每个任务需在提供的Linux沙盒中运行，智能体需输出最终答案以与标准结果比对，从而评估其在代码与数据协同任务中的综合表现。

背景与挑战

背景概述

随着人工智能代理在代码生成与数据分析领域的快速发展，现有基准测试往往将任务所需数据直接提供给模型，忽视了现实场景中数据发现、整合与处理的复杂性。在此背景下，由中国人民大学数据实验室的Yuxin Zhang、Ju Fan、Meihao Fan、Shaolei Zhang及Xiaoyong Du等研究人员于2026年构建的CoDA-Bench（Code and Data-intensive Benchmark）应运而生，作为首个联合评估代理代码智能与数据智能的基准测试。该数据集以199个Kaggle数据集、共计1009个任务为核心，覆盖31个社区，平均每个环境包含980个文件（压缩后约43GB），旨在模拟真实数据密集型环境中代理所需面对的数据发现、层级导航、多源信息整合及代码生成挑战。CoDA-Bench的出现填补了现有基准在数据密集型任务评估上的空白，为衡量先进语言模型（如GPT-5.5、Claude Sonnet-4.6等）在实际复杂数据分析场景中的表现提供了标准化测试平台，对推动代理系统向更贴近真实应用的方向发展具有重要影响力。

当前挑战

CoDA-Bench所解决的领域问题在于，传统基准测试通常预设数据集已就位，忽略了数据工程师和分析师实际工作中数据发现与整合的巨大挑战，迫使代理在数百个语义相似的文件中精准定位所需信息、在复杂文件层级中高效导航、并融合来自多个异构数据源的数据以生成正确的分析代码。在构建过程中，团队面临了多重挑战：首先，需从267个Jupyter笔记本中抽取并标准化199个Kaggle数据集，确保任务覆盖多样化的实际分析场景；其次，设计模拟真实Linux沙盒环境的复杂文件层次结构，平均每个环境包含近千个文件，以测试代理的信息检索与路径理解能力；最后，需严格界定任务难度，通过人工评估筛选出119个高难度子集，确保基准既能反映基础能力又能区分顶尖系统的表现。

常用场景

经典使用场景

CoDA-Bench作为首个联合评估代码智能与数据智能的基准，其经典使用场景聚焦于衡量AI代理在数据密集型任务中的综合能力。该基准要求代理在包含数百个语义相似文件的Linux沙盒环境中发现相关数据、导航复杂文件层次、整合多源异构信息并生成正确代码。例如，代理需从199个Kaggle数据集及相关笔记构成的约43GB环境中完成1009项任务，涵盖31个社区的真实数据分析挑战。这一设计突破了传统基准直接提供标准数据的局限，真实模拟了数据科学家在混乱、冗余的数据海洋中寻找答案的典型工作流程。

解决学术问题

该数据集系统性地解决了当前AI代理研究领域一个核心学术问题：如何客观评估代理在真实数据密集型场景中的端到端能力。传统基准多聚焦于代码生成或单一数据查询，忽视了数据发现、文件导航和跨源信息整合等关键步骤。CoDA-Bench通过构建包含复杂层级与大量冗余文件的环境，揭示了现有最先进代理在EA指标上仅达61.1%的性能瓶颈，为社区提供了明确的研究方向。其意义在于推动了代理评估从实验室理想条件向现实应用场景的范式转变，为构建真正能处理海量、异构数据的智能系统奠定了评估基础。

实际应用

在实际应用中，CoDA-Bench所代表的评估框架直接服务于数据科学平台、自动化分析工具及AI辅助编程系统的开发与优化。Kaggle竞赛社区、企业数据中台和科研数据分析平台均可以此基准为参照，测试其代理工具在从零散文件中挖掘洞察的能力。例如，金融风险分析需从年报、新闻和交易记录中整合信号，医疗诊断需联动电子病历、影像报告和文献，这些场景均要求代理具备CoDA-Bench所评测的数据发现与整合技能。该基准的实际价值在于为自动化数据分析系统的落地提供了可量化的性能标尺和优化方向。

数据集最近研究

最新研究方向

在数据科学领域，代码智能与数据智能的深度融合正成为前沿焦点，CoDA-Bench作为首个联合评估智能体在密集型数据环境中代码生成与数据探索能力的基准，开创性地将真实Kaggle竞赛中的复杂文件层级、异构数据源整合及语义相似文件辨识等挑战纳入评测体系，填补了现有基准无法反映实际数据工作流中从发现到分析全流程的空白。其最新研究发现，即使最先进的GPT-5.5驱动智能体在完整任务集上的执行准确率也仅达61.1%，而在更具难度的子集上降至49.6%，这揭示了当前代码智能体在数据密集型任务中数据处置能力与代码生成能力间的显著鸿沟，为后续研究指明了从单纯代码执行向数据感知与信息融合能力进化的关键方向。