Complete-FABLE.5-traces-2M

Complete FABLE.5 Traces 2M 是一个汇编数据集，在 Fable 和 Mythos 项目关闭后，从 Hugging Face 平台收集并整合了所有可用的 FABLE.5 和 Mythos 轨迹数据。数据集经过规范化行级别的去重处理，并移除了包含会话限制助手答案模式的数据行，最终包含 2,006,487 条清理后的数据行，总数据量约为 1.94 GiB。它提供两种格式：便于查看的规范 Parquet 文件（data/train.parquet）和保留完整原始 JSON 及来源信息的 Gzip 压缩 JSONL 文件（raw/fable5_mythos_dedup.jsonl.gz）。数据模式包含关键字段，如 `row_hash`（原始行 JSON 的 SHA256 哈希）、`first_source_dataset`（首次观察到该规范行的源数据集）、`first_source_config`（首次观察到的配置或加载器表面）、`first_source_split`（首次观察到的分割、文件或本地提取标签）、`first_source_row_index`（在首次观察到的源表面中的行索引）、`seen_count`（在整理过程中该规范行被观察到的次数）以及 `row_json`（保留的原始行规范 JSON，用于解析源特定字段）。数据集支持行级溯源，每一行都可以追溯到首次观察到它的源数据集，并附有包含 17 个 Hugging Face 源数据集的详细引用索引。该数据集适用于文本生成、语言建模任务，尤其与智能体轨迹、思维链推理、工具使用、编码智能体以及合成数据生成等场景相关。Complete FABLE.5 Traces 2M is a compiled dataset that collects and integrates all available FABLE.5 and Mythos trajectory data from the Hugging Face platform after the closure of the Fable and Mythos projects. The dataset has been deduplicated at the normalized row level and rows containing session-limited assistant answer patterns have been removed, resulting in 2,006,487 cleaned data rows with a total data volume of approximately 1.94 GiB. It is provided in two formats: a standardized Parquet file for easy viewing (data/train.parquet) and a Gzipped JSONL file that retains complete original JSON and source information (raw/fable5_mythos_dedup.jsonl.gz). The data schema includes key fields such as `row_hash` (SHA256 hash of the original row JSON), `first_source_dataset` (the source dataset where the normalized row was first observed), `first_source_config` (the configuration or loader surface where it was first observed), `first_source_split` (the split, file, or local extraction label where it was first observed), `first_source_row_index` (the row index in the first observed source surface), `seen_count` (the number of times this normalized row was observed during consolidation), and `row_json` (the retained original row normalized JSON for parsing source-specific fields). The dataset supports row-level traceability, allowing each row to be traced back to the source dataset where it was first observed, with a detailed citation index including 17 Hugging Face source datasets. It is suitable for text generation, language modeling tasks, and particularly relevant for scenarios such as agent trajectories, chain-of-thought reasoning, tool usage, coding agents, and synthetic data generation.

原始信息汇总

数据集概述

• 数据集名称：Complete FABLE.5 Traces 2M
• 数据集地址：https://huggingface.co/datasets/Glint-Research/Complete-FABLE.5-traces-2M
• 许可协议：MIT

核心描述

• 该数据集是 FABLE.5 和 Mythos 轨迹数据集的完整后关闭编译版本，在 Fable 和 Mythos 关闭后，从 Hugging Face 上收集到的所有可用轨迹数据集经整理而成。
• 在规范化行级别进行了去重，并通过 first_source_dataset、first_source_config、first_source_split 和 first_source_row_index 字段保留了行级来源信息。
• 删除了包含会话限制（session-limit）助手回答模式的行，恢复了完整的语料库导出。

数据集规模

• 清洁行数：2,006,487 行
• 被移除行数：604 行
• 托管有效载荷：1.94 GiB

数据文件

文件	行数	用途
data/train.parquet	2,006,487	面向查看器的规范 Parquet 格式数据，便于浏览。
raw/fable5_mythos_dedup.jsonl.gz	2,006,487	与 Parquet 架构一致的 Gzip 压缩 JSONL 格式原始导出数据，包含来源字段和原始行 JSON。

数据模式（Schema）

列名	类型	描述
row_hash	string	规范化原始行 JSON 的 SHA256 哈希值。
first_source_dataset	string	首次观察到该规范化行的数据集。
first_source_config	string	首次观察到的配置或加载界面。
first_source_split	string	首次观察到的分割、文件或本地提取标签。
first_source_row_index	int64	首次观察到的源数据中的行索引。
seen_count	int64	在整理过程中观察到该规范化行的次数。
row_json	string	以规范 JSON 格式保留的原始行数据。

来源引用

• 每一行都可追溯到首次观察到该规范化行的数据集。
• 来源涵盖了 17 个 Hugging Face 数据集，其中前三大来源为：
  • attentionAllYouNeed/Vibe-Coding-Claude-Fable-5（1,100,000 行）
  • Poumrm/Mythos-5-and-Fabel-5-Class-Model-Outputs（776,496 行）
  • BerkayBB/MythosAi（40,215 行）

标签与任务

• 语言：英语（单语）
• 任务类别：文本生成
• 任务 ID：语言建模
• 标签：agent-traces、traces、claude-code、fable-5、mythos、chain-of-thought、tool-use、coding-agents、synthetic-data、deduplicated、llm-traces、data-curation、parquet、json

数据集配置

• 配置名称：default
• 数据文件分割：仅 train 分割，文件路径为 data/train.parquet

加载方法

使用 Hugging Face datasets 库加载： python ds = load_dataset("Glint-Research/Complete-FABLE.5-traces-2M", split="train")

搜集汇总

数据集介绍

构建方式

该数据集是FABLE.5与Mythos生态闭源后，对所有遗留踪迹数据集的全面汇总与重构。研究团队从Hugging Face平台上散布的17个相关数据源中系统化采集、归并原始行，并基于归一化行级哈希进行全局去重。经过去除包含会话限制回答模式的污染样本后，最终保留约200万条高质量行。每行数据均保留完整的溯源信息，包括首次出现的数据集名称、配置、分片及行索引，确保每一条记录的可复现性与可追溯性。

特点

数据集规模庞大且结构紧凑，包含200余万条干净的智能体执行踪迹，总大小仅1.94 GiB。其核心特色在于严格的去重机制与完备的溯源体系，可通过seen_count字段了解全局冗余度，以first_source_*系列字段精准定位来源。数据模式涵盖行哈希、观测次数、原始JSON等核心元数据，既适合大规模预训练，也适用于指令微调与推理行为分析。格式上同时提供Parquet与压缩JSONL两种版本，兼顾高效加载与可读性。

使用方法

用户可通过Hugging Face Datasets库快速加载，仅需一行代码即可获取训练分片。推荐使用Parquet格式以享受列式存储带来的读取效率，而需要原始结构完整性时可选用JSONL文件。每行的row_json字段保留完整原始内容，可直接解析以获取专有字段；结合溯源列可筛选特定来源的子集进行针对性训练。该数据集天然适配语言建模与智能体追踪任务，尤其适合用于思维链推理、工具调用模式学习及代码智能体的行为克隆研究。

背景与挑战

背景概述

在大型语言模型（LLM）的演进历程中，代码生成与智能体交互能力的提升离不开高质量、多样化的轨迹数据。FABLE.5与Mythos系列数据集应运而生，由Glint Research等研究机构与社区贡献者于2024年共同构建，旨在捕捉Claude等模型在执行复杂编程任务时的完整推理、工具调用与代码生成轨迹。这些轨迹数据不仅蕴含丰富的链式思维（Chain-of-Thought）过程，还反映了模型在真实编码场景中的决策逻辑，为后续的监督微调与模型对齐研究提供了稀缺资源。Complete-FABLE.5-traces-2M作为该系列数据集的集大成者，通过整合17个Hugging Face上分散的碎片化版本，经过去重与规范化处理，最终汇聚成约200万条高质量轨迹样本。该数据集的出现填补了代码智能体轨迹领域大规模、高保真、具有溯源能力的数据空白，对推动编码导向LLM的研究与发展具有里程碑式的影响，成为社区进行推理蒸馏、工具使用训练与智能体行为分析的重要基石。

当前挑战

该数据集所处的核心研究挑战在于如何系统性地捕获并结构化大规模智能体推理轨迹，以应对代码生成领域长期存在的可解释性不足与多步推理断裂问题。传统监督微调数据集多聚焦于孤立的代码片段或问答对，而难以呈现模型在真实编程环境中进行目标分解、错误回溯与工具调用的完整认知过程。构建过程中，研究者面临数据碎片化与冗余的严峻挑战：原始数据分散于17个独立数据集，格式不一且存在大量重复条目，需通过哈希归一化与跨源溯源技术实现精确去重，并移除因会话限制导致的无效回答行。此外，维护轨迹的保真度与结构化完整性同样艰巨，需在压缩存储的同时保留数据的时间序列特征与来源元信息，最终以兼容Parquet与JSONL的高效格式发布，确保下游应用的可扩展性与可复现性。

常用场景

经典使用场景

在人工智能与大语言模型研究的前沿，高质量智能体交互痕迹数据成为提升模型推理与工具调用能力的核心资源。Complete-FABLE.5-traces-2M 数据集汇聚了来自 FABLE.5 与 Mythos 系列的逾两百万条经过严格去重的智能体执行轨迹，经典使用场景聚焦于大语言模型的监督微调与指令优化。研究者可借由这些富含链式思考、工具调用与代码生成过程的痕迹序列，训练模型具备更接近人类专家的多步推理与自主决策能力，从而在复杂编程项目中展现卓越的智能体行为泛化水平。

实际应用

在工业界实际应用层面，该数据集为构建高效编码助手与自动化软件开发流水线提供了坚实的数据基石。基于其丰富的智能体痕迹，开发者可微调专用于代码审查、错误定位、单元测试生成及跨语言迁移等任务的垂直模型。这些模型在集成开发环境中能够模拟资深开发者的思维轨迹，实时提供上下文相关的建议与重构方案，显著提升软件工程的交付质量与人机协作的流畅度，成为加速企业数字化转型进程的关键技术载体。

衍生相关工作

Complete-FABLE.5-traces-2M 数据集的发布催生了一系列极具影响力的后续工作。研究者以此为基础探索了基于痕迹蒸馏的小型高效模型训练范式，如通过将长链推理压缩为紧凑思维模式以实现推理加速的轻量化智能体。此外，该数据集的溯源机制促进了跨域知识迁移实验，衍生出面向特定行业场景的领域专属智能体训练管线。在数据链分析领域，其完备的元数据索引体系为智能体行为的因果归因与异常检测算法验证提供了权威基准，推动了大语言模型安全性与可控性研究的体系化进展。