Glint-Research/Complete-FABLE.5-traces-2M

Complete FABLE.5 Traces 2M 是一个完整恢复的FABLE.5/Mythos语料库数据集，移除了包含会话限制的助手回答行。该数据集包含2,006,487行清理后的数据，文件大小为1.94 GiB，主要用于文本生成和语言建模任务。数据集涉及代理跟踪、链式思维、工具使用、代码代理、合成数据等标签，并经过去重处理。它提供Parquet和JSONL.gz两种格式，适用于机器学习和NLP研究，特别是代理行为分析和代码生成场景。

Complete FABLE.5 Traces 2M is a fully restored FABLE.5/Mythos corpus dataset with session-limit assistant answer rows removed. It contains 2,006,487 clean rows with a payload size of 1.94 GiB, primarily intended for text generation and language modeling tasks. The dataset features tags such as agent-traces, chain-of-thought, tool-use, coding-agents, synthetic data, and is deduplicated. Available in Parquet and JSONL.gz formats, it is suitable for machine learning and NLP research, particularly in agent behavior analysis and code generation scenarios.

原始信息汇总

数据集概述：Complete FABLE.5 Traces 2M

基本信息

• 数据集名称：Complete-FABLE.5-traces-2M
• 发布机构：Glint-Research
• 许可证：MIT
• 语言：英语
• 任务：文本生成
• 子任务：语言建模
• 标签：agent-traces, traces, claude-code, fable-5, mythos, chain-of-thought等

数据集规模

• 总行数：2,006,487 行
• 文件大小：2.08 GB（总文件大小）
• 托管负载：1.94 GiB
• 数据量级：1M < n < 10M
• 移除行数：604 行

数据集构成

该数据集是 FABLE.5 / Mythos 所有可用 trace 数据的后关闭期编译版本，经过规范化行级去重，并保留行级出处信息。数据集文件包括：

• data/train.parquet：2,006,487 行，适合查看的规范 Parquet 文件
• raw/fable5_mythos_dedup.jsonl.gz：2,006,487 行，gzip 压缩的规范 JSONL 镜像

数据模式（Schema）

列名	类型	描述
row_hash	string	规范化原始行 JSON 的 SHA256 哈希值
first_source_dataset	string	首次观察到该规范行的数据集
first_source_config	string	首次观察到的配置或加载器表面
first_source_split	string	首次观察到的分割、文件或本地提取标签
first_source_row_index	int64	首次观察到该行的源表面内的行索引
seen_count	int64	规范化行在整理过程中被观察到的次数
row_json	string	保留的原始行规范 JSON

来源数据集（共17个 Hugging Face 数据集）

主要来源包括：

引用行数	来源数据集
1,100,000	attentionAllYouNeed/Vibe-Coding-Claude-Fable-5
776,496	Poumrm/Mythos-5-and-Fabel-5-Class-Model-Outputs
40,215	BerkayBB/MythosAi
25,000	ansulev/claude_mythos_distilled_25k
22,904	1EYE4ALL/Fable-5-traces
13,965	armand0e/claude-fable-5-claude-code
7,635	desiree/mythos-coder-data
7,090	umm-maybe/wikisource-cthulhu-mythos
4,571	Swarm-AI-Research/fable5-traces-sft
4,478	lordx64/agentic-distill-fable-5-sft
1,021	victor/fable-5-boeing-747-trace
951	Glint-Research/mythosmini
603	PawanKrd/claude-fable-5-code
551	ox-ox/mythos-character-distillation
468	TheFusionCube/Fable-5-CoT-Traces
347	ronniealfaro/mythos
192	HelioAI/Fable-5-Distill-Reasoning-462x

数据加载示例

python from datasets import load_dataset ds = load_dataset("Glint-Research/Complete-FABLE.5-traces-2M", split="train")

备注

• 该数据集是 Crownelius/Complete-FABLE.5-traces-2M 的副本
• 包含 session-limit 助手回答模式的行已被移除
• 数据集包含具有平均行级别的去重，保留行级出处的 first_source_dataset、first_source_config、first_source_split 和 first_source_row_index 字段

搜集汇总

数据集介绍

构建方式

Complete-FABLE.5-traces-2M数据集源自FABLE.5与Mythos语料库的完整导出，经过清洗与去重处理。构建过程中，研究人员移除了包含会话限制助手回答模式的冗余行，并对原始行JSON进行归一化，生成SHA256哈希值作为行标识符。数据集以Parquet和JSONL两种格式提供，其中Parquet文件采用列式压缩存储以减小体积，而JSONL文件则保留完整的原始导出信息，并附加溯源字段如首次观测数据集、配置、分割及行索引，确保每条数据来源可追溯。

使用方法

用户可通过HuggingFace的datasets库轻松加载该数据集，使用一行Python代码即可获取训练分割：`ds = load_dataset("Glint-Research/Complete-FABLE.5-traces-2M", split="train")`。加载后，数据被封装为易于操作的Dataset对象，用户可利用`row_json`字段解析原始JSON以获取源特定字段，或直接使用`row_hash`进行数据去重与交叉验证。Parquet格式支持高效的数据筛选与查询，而JSONL格式则适合流式处理的场景。

背景与挑战

背景概述

Complete-FABLE.5-traces-2M 数据集由 Glint Research 于近年创建，旨在为大规模语言模型（LLM）的智能体轨迹（agent traces）研究提供高质量、去重且结构化的训练数据。该数据集聚焦于编码代理（coding agents）的推理过程，涵盖链式思考（chain-of-thought）与工具使用（tool-use）等关键行为模式，其核心研究问题在于如何通过合成数据重建与优化模型在复杂交互场景中的决策能力。作为 FABLE.5 及 Mythos 语料库的完整复原版本，该数据集通过剔除会话限制（session-limit）行，提供了约 200 万条清洁样本，为语言建模和智能体行为分析领域注入了新的资源，推动了从原始轨迹提取到下游模型微调之间的数据基础设施构建。

当前挑战

该数据集所解决的领域挑战在于：当前大型语言模型在执行多步骤编码任务时，常因缺乏高质量、结构化的智能体轨迹数据而难以有效学习规划与工具调用的连贯模式，导致模型在复杂软件工程场景中的泛化能力不足。在构建过程中，面临的挑战包括：对海量原始轨迹的全面复原与去重处理，确保数据源一致性与完整性；识别并剔除包含会话限制的无效回答行，防止模型受到部分响应的干扰；跨多个数据源进行哈希对齐与溯源标注，以维护行级元数据的可追踪性。此外，压缩存储与格式转换（Parquet 与 JSONL）之间的平衡也需兼顾可访问性与空间效率。

常用场景

经典使用场景

在智能体轨迹数据日益成为大语言模型训练核心资源的背景下，Complete-FABLE.5-traces-2M数据集以其超过两百万条经过去重与清洗的高质量智能体执行轨迹，为语言模型的微调与能力对齐提供了珍贵素材。该数据集收录了Claude Code等工具在完成复杂编码任务时的完整交互记录，涵盖链式推理（Chain-of-Thought）、工具调用（Tool-use）以及多步骤问题求解过程。研究者可借助这些轨迹数据，引导模型模仿智能体在真实环境中的决策逻辑与行为模式，从而显著提升模型在自主编程、推理规划等场景下的表现能力。

解决学术问题

该数据集精准回应了当前大语言模型研究中数据稀缺性与低质量两大核心瓶颈。此前，公开可用的智能体执行轨迹多为小规模或噪声严重的样本，难以支撑模型对复杂任务逻辑的深层学习。Complete-FABLE.5-traces-2M通过系统化的去重、清洗与结构化存储，为学术界建立了一个大规模、高保真的基准语料库。它使得研究者能够探究智能体在长序列任务中的推理规律、工具选择策略及错误恢复机制，推动了关于模型自主规划能力与工具使用泛化性的系统性分析，对理解智能体行为的可迁移性具有重要学术价值。

实际应用

在实际产业应用中，该数据集为构建自主编程助手、智能代码审查系统以及自动化软件维护工具注入了关键动力。开发团队可利用这些轨迹数据对现有语言模型进行针对性微调，使其更好地理解开发环境中的上下文依赖、API调用规范与调试流程。特别地，在连续集成与持续部署（CI/CD）流水线中，采用本数据集训练的模型能够更可靠地生成符合项目架构的代码片段，并能在错误发生时进行自主修复尝试。此外，该数据集亦可服务于智能客服系统中的多步骤任务分解引擎，提升机器人在处理用户复杂请求时的任务完成率与交互流畅度。

数据集最近研究

最新研究方向

在当前大语言模型代理（LLM agent）与编码智能体（coding agent）的快速发展浪潮中，Complete-FABLE.5-traces-2M数据集以其高达两百万条高质量、去重后的代理轨迹（agent traces）脱颖而出，成为推动链式推理（chain-of-thought）与工具调用（tool-use）能力研究的关键基石。该数据集源自FABLE.5与Mythos语料库，经过精细的会话边界清理与去冗余处理，提供了纯净且结构化的训练样本。其独特之处在于完整保留了编码代理在执行复杂任务时的逐步推理与交互轨迹，为探索自主智能体的思维链生成、多步工具协作以及情境记忆机制提供了海量的真实数据支撑。随着Claude Code等前沿编码代理的普及，此类精细标注的轨迹数据正成为提升大模型在代码生成、调试与自动化运维等场景中泛化能力与鲁棒性的核心驱动力，对推动从简单指令遵循向复杂任务自主规划的范式演进具有深远意义。