fantos/DataScience-Instruct-500K

DeepAnalyze是首个用于自主数据科学的大型代理语言模型。它能够无人工干预地自主完成广泛的数据中心任务，支持整个数据科学流程，开放 ended数据研究，并生成分析师级别的报告。

DeepAnalyze is the first agentic LLM for autonomous data science. It can autonomously complete a wide range of data-centric tasks without human intervention, supporting the entire data science pipeline, open-ended data research, and generating analyst-grade reports.

搜集汇总

数据集介绍

构建方式

在数据科学领域，高质量指令数据的匮乏一直是制约大语言模型自主分析能力的关键瓶颈。为此，该数据集基于RUC-DataLab/DataScience-Instruct-500K原始语料进行精心筛选与重构，汇聚了涵盖数据准备、分析、建模、可视化及报告生成等完整数据科学生命周期的50万条指令样本。构建过程中，研究团队通过自动化管道与人工校验相结合的方式，确保每条指令均具备清晰的上下文、明确的任务目标以及标准化的输入输出格式，从而为模型学习端到端的数据科学推理提供了坚实的数据基础。

特点

该数据集最为突出的特质在于其全面性与开放性。它不仅覆盖了结构化数据（如数据库、CSV、Excel）、半结构化数据（如JSON、XML、YAML）以及非结构化数据（如TXT、Markdown）等多源异构数据类型，还深度融合了从数据清洗到研究报告撰写的完整流水线任务。此外，所有数据均以MIT许可协议开源，配合配套的模型与代码，使得研究者能够自由复现、扩展或定制专属的数据分析助手，极大降低了自主数据科学研究的门槛。

使用方法

使用者可通过HuggingFace平台直接加载该数据集，将其作为微调大语言模型的训练语料或评估基准。具体而言，数据以标准的指令-响应格式组织，每条样本包含用户查询与期望的模型输出，便于直接接入常见的监督微调框架。建议在训练前对数据进行格式统一与去重处理，并结合DeepAnalyze开源代码中的训练脚本，即可高效地使模型掌握数据科学任务中的多步推理与工具调用能力，最终实现面向复杂数据分析场景的自主智能体构建。

背景与挑战

背景概述

在数据科学领域，自动化数据分析一直是学术界与工业界共同追求的目标。由中国人民大学数据实验室主导，联合清华大学等机构的研究人员于2025年提出的DeepAnalyze项目，首次将大语言模型构建为自主智能体，以解决全链路数据科学任务。其配套数据集DataScience-Instruct-500K作为训练核心，汇集了50万条涵盖数据准备、分析、建模、可视化及报告生成的高质量指令，为模型赋予端到端执行能力。该数据集不仅促进了结构化与非结构化数据统一处理范式的形成，更通过开源生态（模型、代码、数据、演示）推动了数据科学民主化进程，对降低领域门槛、加速科研探索具有里程碑意义。

当前挑战

当前数据集面临的核心挑战体现在多层面：首先，在领域问题层面，数据科学任务具有高度异构性，从数据清洗到复杂统计建模需覆盖数百种操作，现有指令集难以穷尽真实场景中的长尾需求，导致模型在应对非典型分析任务时泛化能力不足。其次，构建过程中面临数据质量与多样性的平衡难题：自动生成的指令可能包含逻辑谬误或冗余步骤，而人工标注成本高昂，难以规模化扩展。此外，跨模态数据（如表格与文本混合）的语义对齐、多步骤推理的因果一致性维护，以及长期依赖任务的记忆衰减问题，均对数据集设计提出严苛要求。

常用场景

经典使用场景

DataScience-Instruct-500K 数据集旨在赋能大规模语言模型，使其能够自主完成从数据准备、分析、建模到可视化与报告生成的全流程数据科学任务。该数据集包含超过50万条指令数据，覆盖结构化、半结构化和非结构化数据源，是训练智能体式数据科学助手（如DeepAnalyze）的核心资源。其经典使用场景在于为语言模型提供端到端的数据分析指令微调，使模型能够像专业分析师一样，对表格、数据库、JSON等多元数据格式进行深度探索与推理，最终输出分析师级别的研究报告。

衍生相关工作

基于该数据集，研究团队衍生出了DeepAnalyze系列工作，包括开源的8B参数智能体模型、完整的训练代码以及交互式演示系统。DeepAnalyze被设计为第一个完全开源的自主数据科学智能体，其论文发表于arXiv（2510.16872），并在GitHub上获得了广泛关注。此外，该数据集还催生了关于指令微调策略、工具增强型推理以及多模态数据理解的相关研究，为后续构建更强大的数据分析智能体奠定了数据与模型基础。

数据集最近研究

最新研究方向

随着大语言模型在复杂推理与工具调用能力上的突破，将LLM应用于自动化数据科学已成为前沿热点。DeepAnalyze作为首个面向自治数据科学的智能体大模型，其配套训练数据集DataScience-Instruct-500K应运而生，标志着该领域从单一步骤问答向全流程自主分析的重大跨越。该数据集覆盖数据准备、建模、可视化到报告生成的完整流水线，并支持结构化与非结构化数据的深度探索，直接回应了当前业界对‘无人工干预数据分析’的迫切需求。在学术界与工业界共同推动下，这一研究方向不仅加速了数据科学民主化进程，更通过开源生态降低了智能数据分析助手的部署门槛，为未来自主科研与商业智能系统奠定了关键数据基础。