jupyter-agent/jupyter-agent-dataset

Jupyter Agent数据集是一个由机器生成的数据集，使用真实Kaggle笔记本经过多阶段处理，去重、获取引用的数据集、评估教育质量、筛选与数据分析相关的数据、生成基于数据集的问题-答案（QA）对，并通过运行笔记本产生可执行的推理轨迹。数据集包含自然语言问题、验证答案和适合代理训练的逐步执行轨迹。数据集总共有51389个合成笔记本，大约有2亿个训练标记。数据集分为两个子集：`thinking`和`non-thinking`，其中代码生成思考评论根据基础模型类型被标记或不被标记。数据集以Apache-2.0许可证发布。

The Jupyter Agent Dataset is a machine-generated dataset that uses real Kaggle notebooks processed through a multi-stage pipeline to de-duplicate, fetch referenced datasets, score educational quality, filter to data-analysis–relevant content, generate dataset-grounded question–answer (QA) pairs, and produce executable reasoning traces by running notebooks. The dataset includes natural questions about a dataset/notebook, verified answers, and step-by-step execution traces suitable for agent training. The dataset contains a total of 51389 synthetic notebooks, which amounts to ~200M training tokens. The dataset is provided in two subsets - `thinking` and `non-thinking`, where the code generation thinking commentary is wrapped with or without thinkinng tags, depending on base model type. The dataset is released under the Apache-2.0 license.

搜集汇总

数据集介绍

构建方式

在代码智能体与数据科学交叉领域，高质量的训练数据是推动模型能力跃升的关键。Jupyter Agent Dataset 的构建源于对真实 Kaggle 笔记本的深度挖掘与系统性再造。研究团队首先利用 Datatrove 对海量公开 Kaggle 笔记本进行大规模去重，并自动抓取关联数据集以确保端到端可执行性。随后，借助 Qwen-32B 对笔记本片段进行教育质量评分，筛选出高价值内容，同时通过 LLM 辅助过滤排除非数据分析类笔记本。在合成阶段，采用两阶段 QA 生成流程：先由 Qwen-32B 生成问题与候选答案，再由另一 LLM 结合笔记本上下文验证以降低幻觉；最终，利用 Qwen-Coder-480B 生成代码与思考轨迹，并通过 E2B 沙箱执行获得真实运行痕迹，从而构建出包含自然语言问题、已验证答案及逐步执行轨迹的合成数据集。

特点

该数据集的核心特色在于其高度结构化的合成数据与真实数据源的深度融合。每个样本均包含 ChatML 格式的完整合成笔记本消息序列、基于数据集的具体问题与精炼答案、教育质量评分、所用文件与包列表，以及原始 Kaggle 笔记本来源与工具调用信息。数据集提供 'thinking' 与 'non-thinking' 两个子集，分别对应带或不带思考标签的代码生成注释，适配不同基座模型的微调需求。总计约 5.1 万条合成笔记本，对应约 2 亿训练 token，规模适中且质量可控。其独特价值在于通过真实笔记本与数据集生成的可验证问答对和可执行轨迹，为训练具备上下文理解、代码执行与分步推理能力的代码智能体提供了天然的训练材料。

使用方法

该数据集的使用极为便捷，可直接通过 Hugging Face Datasets 库加载，并原生兼容 TRL 训练框架。用户只需加载 'messages' 与 'tools' 列，即可直接传入 SFTTrainer 进行工具调用微调，无需额外格式转换。具体而言，可指定加载 'thinking' 或 'non-thinking' 子集，并利用 tokenizer 的 apply_chat_template 方法处理对话格式。对于需要真实数据环境的场景，可通过 KaggleHub 下载关联数据集，再结合 E2B 沙箱执行代码，复现完整的运行轨迹。研究团队已基于该数据集对 Qwen-3-4B 系列模型进行微调，在 DABstep 基准上取得高达 20% 的显著提升，验证了其在增强模型探索性数据分析与编程能力方面的卓越效果。

背景与挑战

背景概述

随着大语言模型在代码生成与智能体任务中的广泛应用，如何构建能够理解复杂数据语境、执行多步骤推理并生成可执行代码的智能代理系统，成为人工智能领域的前沿课题。Jupyter Agent Dataset 由 Hugging Face Jupyter-Agent 团队（Baptiste Colle、Hanna Yukhymenko、Leandro von Werra）于2025年创建，旨在弥合自然语言查询与数据驱动分析之间的鸿沟。该数据集基于来自 Kaggle 的真实笔记本，通过大规模去重、教育质量评分、过滤无关内容以及合成问答对与执行轨迹生成等多阶段流水线，构建了超过五万个高质量示例。其核心研究问题聚焦于如何利用真实世界的数据分析工作流，训练出能够自主阅读笔记本与数据集上下文、执行 Python 代码并生成逐步解决方案的代码智能体。该数据集在 DABstep 基准测试上展现出显著效果，使模型在简单与困难任务上的得分提升高达20%，为数据科学领域的智能体训练提供了重要资源。

当前挑战

Jupyter Agent Dataset 所应对的领域挑战在于，现有代码智能体往往难以在真实且复杂的数据分析场景中，精准理解数据集结构、生成可执行代码并输出可靠答案。传统方法依赖静态问答对，缺乏对上下文依赖与执行反馈的建模，导致模型泛化能力不足。在构建过程中，团队面临多重技术难题：首先，从 Meta Kaggle Code 中提取的原始笔记本存在大量重复与低质量内容，需设计高效去重与教育质量评分机制，以筛选出具有教学价值的数据分析片段；其次，确保笔记本的可复现执行极具挑战，需自动获取关联的 Kaggle 数据集并处理环境依赖，方能生成真实的执行轨迹；再者，合成问答对的生成需避免 LLM 的幻觉风险，采用两阶段验证流程——由 Qwen-32B 生成候选对后，再由另一模型基于笔记本上下文进行二次校验，以提升数据可靠性。此外，数据集的规模控制、多子集划分（thinking 与 non-thinking）以及工具调用格式的统一，均对数据管线的鲁棒性与可扩展性提出了严苛要求。

常用场景

经典使用场景

Jupyter Agent Dataset最经典的使用场景在于训练能够自主执行数据分析任务的代码智能体。该数据集基于Kaggle平台上的真实笔记本，经过去重、教育质量评分及过滤等流水线处理后，生成包含自然语言问题、已验证答案与逐步执行轨迹的合成数据。研究者可利用这些数据对基础语言模型进行指令微调，使其掌握从读取数据集上下文、调用Python库（如pandas、numpy、matplotlib）到生成可执行代码的完整推理链条，从而在数据科学竞赛、自动化报表生成等场景中实现端到端的智能分析。

解决学术问题

该数据集有效解决了代码智能体领域长期存在的训练数据稀缺与任务泛化性不足的学术难题。传统方法依赖于人工标注或受限的模拟环境，难以覆盖真实数据分析中的多样化操作与复杂逻辑。Jupyter Agent Dataset通过大规模合成高质量的问题-代码对，并结合可执行的推理轨迹，为模型提供了从理解数据分布、执行中间计算到验证最终答案的完整学习范式。其在DABstep基准测试上带来的高达20%的准确率提升，充分证明了该数据集在推动代码生成与数据推理交叉研究中的关键作用。

衍生相关工作

该数据集的发布催生了一系列具有影响力的衍生工作。Hugging Face团队基于此数据集对Qwen-3-4B系列模型进行微调，显著提升了其在DABstep基准上的代码生成与数据推理能力，并开源了可直接用于推理的检查点。后续研究进一步探索了将思考标签（thinking tags）融入训练过程，使得模型在执行复杂多步分析时能够生成显式的推理注释，提升了可解释性。此外，该数据集所采用的合成数据生成流水线（包括教育质量评分与幻觉验证）也为其他领域构建高质量指令数据集提供了可复用的方法论框架。