jescy525/shizune-sft-v1-sources

shizune-sft-v1-sources是一个AETHER家族的监督微调（SFT）数据集，属于shizune_core组。该数据集采用JSONL ChatML消息格式，每条记录包含消息序列（角色为system、user或assistant，内容为文本）、任务类型标签（如function_calling、code、reasoning_cot等）、来源数据集ID、语言（如英语en、法语fr）和系统来源（如archon_default或overridden_from_source）。数据集应用了MinHash去重技术，阈值为0.85，以减少重复内容。它由prepare_sft.py管道于2026-05-25生成，主要用于文本生成和对话任务，规模在10万到100万条记录之间，支持英语和法语。

许可证：Apache-2.0
语言：
- 英语（en）
- 法语（fr）
任务类别：
- 文本生成
- 对话
数据量级：100K < n < 1M（即10万至100万条样本）
标签：
- ChatML
- 监督微调（Supervised Fine-Tuning，SFT）
- AETHER家族
- shizune_core
配置项：
- 配置名称：默认（default）
数据文件：
- 拆分方式：训练集（train）
路径："shizune_core_shard_*.jsonl"

# shizune-sft-v1-sources

本数据集属于AETHER家族监督微调（Supervised Fine-Tuning，SFT）数据集群组`shizune_core`。

**格式**：采用JSONL格式存储的ChatML对话消息，已标注任务类型，且通过MinHash算法完成去重（去重阈值为0.85）。

**数据结构**：

{
"messages": [{"role": "system|user|assistant", "content": "..."}],
"task_type": "function_calling|code|reasoning_cot|...",
"source_ds": "<Hugging Face（HF）数据集ID>",
"lang": "en|fr|...",
"system_source": "archon_default|overridden_from_source"
}

本数据集由`prepare_sft.py`流水线生成（生成日期：2026-05-25）。