Complete-FABLE.5-traces-2M

Complete FABLE.5 Traces 2M 是一个经过整理和去重的汇编数据集，包含了在 Hugging Face 上可用的所有 FABLE.5 和 Mythos 轨迹数据。该数据集在 Fable 和 Mythos 项目关闭后创建，旨在提供一个完整、干净的语料库快照。数据集的核心内容是大规模语言模型（特别是 Claude Code）生成的智能体交互轨迹，涉及思维链推理、工具使用和编码任务。数据集包含 2,006,487 条经过清理的数据行，移除了 604 条包含会话限制助手答案模式的行，总数据量约为 1.94 GiB。数据以两种格式提供：便于查看和处理的 Parquet 文件以及保留完整原始 JSON 和来源信息的 Gzip 压缩 JSONL 文件。数据模式设计注重来源追踪和去重，包含关键字段如 row_hash（用于去重的 SHA256 哈希值）、first_source_dataset（首次来源数据集）等。数据集整合了来自 17 个不同 Hugging Face 数据源的轨迹数据，主要来源包括 attentionAllYouNeed/Vibe-Coding-Claude-Fable-5 和 Poumrm/Mythos-5-and-Fabel-5-Class-Model-Outputs 等。每个数据行都可以通过 first_source_* 字段追溯其原始出处。该数据集适用于文本生成和语言建模任务，特别是与智能体轨迹分析、思维链推理、工具调用模拟、编码智能体训练以及合成数据生成相关的研究和开发。作为 FABLE.5/Mythos 生态系统的综合汇编，它为研究大规模语言模型的推理和行为模式提供了高质量、去重且来源可追溯的数据资源。Complete FABLE.5 Traces 2M is a curated and deduplicated compiled dataset containing all FABLE.5 and Mythos trace data available on Hugging Face. This dataset was created after the shutdown of the Fable and Mythos projects, aiming to provide a complete and clean snapshot of the corpus. The core content of this dataset consists of agent interaction traces generated by large language models (especially Claude Code), covering chain-of-thought reasoning, tool usage, and coding tasks. The dataset contains 2,006,487 cleaned data rows, with 604 rows containing session-restricted assistant answer patterns removed, and the total data volume is approximately 1.94 GiB. The data is provided in two formats: Parquet files for easy viewing and processing, and Gzip-compressed JSONL files that retain complete original JSON and source information. The data schema is designed with a focus on source tracing and deduplication, including key fields such as row_hash (SHA256 hash value for deduplication), first_source_dataset (the first source dataset), and others. The dataset integrates trace data from 17 distinct Hugging Face data sources, with major sources including attentionAllYouNeed/Vibe-Coding-Claude-Fable-5 and Poumrm/Mythos-5-and-Fabel-5-Class-Model-Outputs, among others. Each data row can trace its original provenance via the first_source_* fields. This dataset is suitable for text generation and language modeling tasks, particularly research and development related to agent trajectory analysis, chain-of-thought reasoning, tool invocation simulation, coding agent training, and synthetic data generation. As a comprehensive compilation of the FABLE.5/Mythos ecosystem, it provides high-quality, deduplicated, and source-traceable data resources for researching the reasoning and behavioral patterns of large language models.

原始信息汇总

数据集概述

• 数据集名称: Complete FABLE.5 Traces 2M
• 许可证: MIT
• 语言: 英文
• 规模: 1M < n < 10M（实际包含约200万行）
• 任务类型: 文本生成（语言建模）
• 标签: 智能体轨迹、Claude Code、链式思考、工具使用、编码智能体、合成数据、去重

数据集描述

该数据集是FABLE.5 / Mythos轨迹数据集的完整后关闭编译版本，在Fable和Mythos关闭后，从Hugging Face上所有可用的相关数据集整理而成。数据在规范化行级别进行去重，并保留了行级来源信息（首次来源数据集、配置、拆分和行索引）。已移除包含会话限制助手回答模式的行。

数据统计

指标	数值
清洗后行数	2,006,487
移除行数	604
托管数据量	1.94 GiB

数据文件

文件	行数	用途
data/train.parquet	2,006,487	面向查看器的规范Parquet拆分
raw/fable5_mythos_dedup.jsonl.gz	2,006,487	Gzip压缩的规范JSONL镜像，包含来源字段和原始行JSON

数据模式

列名	类型	描述
row_hash	string	规范化原始行JSON的SHA256哈希值
first_source_dataset	string	首次观察到该规范行的数据集
first_source_config	string	首次观察到的配置或加载接口
first_source_split	string	首次观察到的拆分、文件或本地提取标签
first_source_row_index	int64	在首次观察到的来源中的行索引
seen_count	int64	该规范行在整理过程中出现的次数
row_json	string	保留的原始行规范JSON，解析后可获取来源特定字段

来源数据集

数据集从17个Hugging Face数据集中整理，按引用行数排序的主要来源包括：

• attentionAllYouNeed/Vibe-Coding-Claude-Fable-5：1,100,000 行
• Poumrm/Mythos-5-and-Fabel-5-Class-Model-Outputs：776,496 行
• BerkayBB/MythosAi：40,215 行
• ansulev/claude_mythos_distilled_25k：25,000 行
• 1EYE4ALL/Fable-5-traces：22,904 行
• 其他12个较小来源合计数十万行

加载方式

可使用以下Python代码加载数据集：

python from datasets import load_dataset

ds = load_dataset("Crownelius/Complete-FABLE.5-traces-2M", split="train")

搜集汇总

数据集介绍

构建方式

Complete-FABLE.5-traces-2M数据集是在Fable与Mythos项目关闭后，通过对Hugging Face平台上所有可获取的FABLE.5/Mythos轨迹数据集进行系统化收集与整合而成。数据构建流程包括：首先从17个不同来源的数据集中搜集原始轨迹记录，随后对归一化后的行级数据进行去重处理，并剔除包含会话限制助手回答模式的不良行，最终保留约200万条高质量数据。每条数据均保留行级溯源信息，通过first_source_dataset等字段记录其首次出现的来源数据集、配置、分割及行索引，确保数据可追溯性。

特点

该数据集的核心特点在于其大规模的合成智能体轨迹数据，涵盖链式思考、工具调用和编码代理等多样化场景，为语言模型训练提供了丰富的推理与交互实例。数据集中包含超过200万条去重后的干净行记录，总计约1.94 GiB的托管数据量，并支持Parquet和JSONL两种格式，兼顾高效存储与灵活读取。此外，数据集通过行哈希值与出现次数字段实现精确去重，同时保留完整溯源信息，使得每个数据点的来源均可追溯到具体数据集，提升了数据的可信度与研究价值。

使用方法

数据集可通过Hugging Face的datasets库直接加载，使用load_dataset函数即可获取训练分割数据。推荐的数据加载方式为从Parquet文件读取，因其列式存储结构紧凑且便于快速访问；对于需要原始JSON格式的场景，亦可使用Gzip压缩的JSONL文件。使用时，用户可通过row_json字段解析原始轨迹内容，利用first_source_*字段进行数据来源分析或按需筛选子集。该数据集特别适用于文本生成任务的模型微调与评估，尤其是针对编码代理、工具使用等复杂推理场景的训练数据补充。

背景与挑战

背景概述

Complete-FABLE.5-traces-2M数据集由研究者Crownelius于2024年创建，汇聚了来自17个Hugging Face数据源的FABLE.5与Mythos智能体轨迹语料。该数据集聚焦于编码代理（coding agents）的链式思维（Chain-of-Thought）与工具使用（tool-use）行为模拟，旨在为大规模语言模型的文本生成任务提供高质量的合成训练数据。通过去重与清洗，数据集保留了超过200万条有效轨迹行，成为智能体轨迹研究领域的重要基础资源。其发布不仅促进了开源社区对代理行为建模的探索，还通过精细化的溯源字段（如first_source_dataset）增强了数据可信度与可复现性，对推动语言模型在复杂工具交互场景中的能力提升具有深远影响。

当前挑战

该数据集的核心挑战体现在领域问题与构建过程两个层面。在领域层面，智能体轨迹数据通常缺乏统一的标准化格式，不同来源的轨迹结构（如会话限制响应）存在异质性，导致模型难以从零散数据中学习连贯的代理决策逻辑，制约了语言模型在真实编码环境中的工具调用与推理鲁棒性。在构建过程中，需解决跨数据源的高效去重问题：原始数据规模庞大且包含大量冗余和异常行（如session-limit回答模式），要求设计归一化行级哈希与溯源机制，在保留数据原貌的同时剔除近60万条无效记录，确保语料纯净度与存储效率的平衡。

常用场景

经典使用场景

在人工智能与自然语言处理的交汇领域，Complete-FABLE.5-traces-2M 数据集作为大规模的编码智能体行为轨迹语料库，其经典使用场景聚焦于语言模型的后训练对齐与推理能力增强。研究者常利用其中蕴含的链式思维（Chain-of-Thought）与工具调用（Tool-Use）记录，对预训练模型进行监督式微调（SFT）或偏好对齐，以习得结构化的问题求解范式。该数据集的完整性与去重特性，使其成为探索智能体轨迹数据在大规模语言模型泛化能力中作用的基石。

衍生相关工作

此数据集的发布催生了一系列富有影响力的衍生工作，特别是在蒸馏技术与多智能体协作框架方面。基于其丰富的轨迹记录，研究者开发了多种知识蒸馏策略，将大型模型的决策过程压缩至更轻量的学生模型中，并验证了其在保持推理能力的同时显著降低推理成本。此外，数据集中蕴含的多轮交互场景，也为探究智能体间信息共享与任务协同机制提供了基准，进而衍生出如基于角色扮演的模型对齐方法与针对复杂工程问题的分治式求解框架等经典后续研究。

数据集最近研究

最新研究方向

在当前大语言模型与代码智能体迅猛发展的背景下，Complete-FABLE.5-traces-2M 作为从闭源 FABLE.5/Mythos 数据生态中全面恢复并去重的高质量合成轨迹语料库，正成为推动开源 Agent 推理与工具使用能力对齐研究的关键枢纽。该数据集通过汇聚 17 个 Hugging Face 来源中超过 200 万条经规范化去重的 Claude Code 链式思考与工具调用轨迹，为研究社区提供了前所未有的规模化、可溯源的训练与蒸馏基础。其深层价值在于：一方面，它回应了闭源头部模型生态关闭后社区对高质量合成推理数据的迫切需求，通过严格的去重和来源溯源机制确保了数据可靠性；另一方面，围绕该数据集衍生出的 SFT 蒸馏、思维链提炼与语义压缩等前沿探索，正加速着开源 coding agent 在多步规划与环境交互能力上的实质性跃迁，为构建透明、可复现的下一代自主编程 agent 奠定了数据基石。