jescy525/archon-sft-v1-conversation

archon-sft-v1-conversation是一个AETHER家族的有监督微调数据集，属于对话组。该数据集采用JSONL ChatML消息格式，应用了任务类型标签和MinHash去重技术（阈值为0.85）。数据模式包括消息（包含角色如系统、用户或助手及内容）、任务类型（如函数调用、代码、推理链等）、来源数据集、语言（主要为英语）和系统来源。数据集生成于2026年5月25日，通过prepare_sft.py管道处理，实际数据来源100%来自HuggingFaceH4/ultrachat_200k。任务类型分布为：78%通用对话、16%推理链、4%数学符号（自动标记）和1.6%协议缓冲区/gRPC。尽管元数据标签包含英语和法语，但采样显示语言为100%英语。这是一个通用对话有监督微调数据集，代表实际数据而非初始设计规划。archon-sft-v1-conversation is an AETHER family SFT dataset — group conversation. The format uses JSONL ChatML messages with task_type tagging and MinHash deduplication applied (threshold 0.85). Schema includes messages (with roles like system, user, or assistant and content), task_type (e.g., function_calling, code, reasoning_cot), source_ds, lang (primarily English), and system_source. Generated by the prepare_sft.py pipeline on 2026-05-25, with real sources sampled as 100% from HuggingFaceH4/ultrachat_200k. Task type distribution: 78% general_conv, 16% reasoning_cot, 4% math_symbolic (auto-tagged), and 1.6% protobuf_grpc. Language reality: sampled rows show 100% English despite metadata tags including English and French. This is a general conversational SFT dataset representing the actual data, not the initial design plan.

搜集汇总

数据集介绍

构建方式

archon-sft-v1-conversation数据集来源于AETHER家族的有监督微调（SFT）流程，专注于会话类任务。其构建基于HuggingFaceH4/ultrachat_200k数据集，通过preprare_sft.py管线的自动化处理生成。数据采用JSONL格式，每条记录包含符合ChatML协议的多轮对话消息（messages字段），并由task_type字段标记具体任务类型，如通用对话、推理链等。为提升数据质量，数据集应用了MinHash去重技术，阈值设定为0.85，有效降低了冗余样本比例。

特点

本数据集的核心特征在于其结构化与多样性。每条样本不仅包含清晰的系统、用户与助手角色划分，还额外记录了来源数据集标识（source_ds）、语言标签（lang）及系统提示来源（system_source），便于后续追踪与过滤。任务类型分布涵盖了78%的通用对话、16%的推理链及少量数学符号与代码相关任务，体现了以通用会话为主、兼顾复杂推理的平衡设计。尽管元数据标注包含英语与法语，实际采样显示所有样本均为英文，语言一致性高。

使用方法

该数据集适用于构建和微调面向多轮对话的大型语言模型。用户可通过HuggingFace Datasets库加载，指定config_name为'default'，并按需选择包含的全部JSONL分片文件。数据可作为ChatML格式的监督信号直接用于训练，支持的task_type字段能够帮助实现任务特定的训练策略，如对reasoning_cot和math_symbolic类别采用不同的损失权重。建议在使用前根据任务需求对lang和source_ds字段进行过滤，以匹配目标应用场景的语言和来源多样性。

背景与挑战

背景概述

archon-sft-v1-conversation数据集由AETHER家族于2026年5月构建，旨在为大语言模型的监督微调（SFT）提供高质量对话数据。该数据集基于HuggingFaceH4/ultrachat_200k进行采样与处理，采用ChatML格式组织多轮对话，并通过MinHash去重（阈值为0.85）以保证数据多样性。核心研究问题聚焦于提升模型在通用对话、推理链（reasoning_cot）及数学符号任务上的表现。作为AETHER家族SFT数据集的重要组成部分，该数据集为对话式文本生成领域提供了标准化训练资源，尤其在大规模语言模型的对齐与泛化能力研究中具有潜在影响力。

当前挑战

该数据集所解决的领域问题在于，通用对话场景中模型常因缺乏高质量、多样化的SFT数据而表现欠佳，尤其是面对推理链、函数调用等复杂任务时易出现语义漂移。构建过程中，主要挑战包括：原始数据UltraChat_200k中任务类型分布极不均衡，通用对话占比高达78%，而数学符号与protobuf_grpc等专业任务比例极低（合计不足6%），导致模型对少数类任务的泛化能力受限。此外，尽管元数据标记支持法语，实际采样中700行数据均为英文，反映出多语言标注与真实内容之间的不一致性，可能引入语言偏差。

常用场景

经典使用场景

archon-sft-v1-conversation 数据集专为对话式文本生成任务而设计，其核心价值在于为大规模语言模型的监督微调（SFT）提供高质量的对话数据。该数据集遵循 ChatML 格式，每条样本包含结构化的多轮对话消息，并标注了任务类型（如通用对话、推理链、数学符号推理等），这使得它成为训练面向通用对话场景的指令跟随模型和对话代理的理想素材。研究人员可直接利用该数据集进行单轮或多轮对话响应的生成训练，以提升模型在自然交互中的连贯性和任务完成能力。

解决学术问题

在学术研究层面，该数据集有效解决了对话模型在微调过程中面临的数据多样性不足和任务覆盖不广的挑战。通过整合自动检测的任务类型（如 reasoning_cot 和 math_symbolic）和标准化格式，它支持对模型进行多任务联合微调，探究不同对话风格与推理能力之间的迁移效应。此外，该数据集采用 MinHash 去重（阈值为0.85），降低了数据冗余带来的过拟合风险，为研究数据质量对模型泛化性能的影响提供了可靠基准，从而推动了对话生成领域的实证研究。

衍生相关工作

该数据集衍生了一系列与监督微调策略相关的研究工作，例如基于任务类型分布分析模型在 general_conv 与 reasoning_cot 样本上的性能差异，以及探究自动任务标注（如 protobuf_grpc）对结构化输出训练的影响。同时，其与 HuggingFaceH4/ultrachat_200k 的渊源促使研究者对比不同对话数据集的微调效果，从而优化数据混合配方。此外，该数据集的生成流程（prepare_sft.py 管线）和格式规范为后续构建多语言、多来源的对话 SFT 数据集树立了工程范式。