GenueAI/Matrix2-FineTune

distill-sft-26k是一个合并的监督微调（SFT）数据集，包含25,973个高质量推理对话，这些对话是从三个前沿模型（DeepSeek-V4-Pro、Kimi-K2.6和Qwen3.7-Max）蒸馏而来。数据集覆盖通用、科学和数学领域，其中32%的条目包含推理内容。数据以标准聊天格式组织，包括用户和助理角色消息，可选推理字段，并已使用种子42打乱。distill-sft-26k is a merged SFT dataset of 25,973 high-quality reasoning conversations distilled from three frontier models (DeepSeek-V4-Pro, Kimi-K2.6, and Qwen3.7-Max). It covers general, science, and math domains, with 32% of rows containing reasoning content. The data is in standard chat format with optional reasoning fields and has been shuffled with seed=42.

搜集汇总

数据集介绍

构建方式

Matrix2-FineTune数据集（即distill-sft-26k）是通过知识蒸馏技术，从三大前沿推理模型中精选并融合而成的监督微调（SFT）数据集。具体而言，它整合了来自DeepSeek-V4-Pro的17,670条通用对话、Kimi-K2.6的3,303条涉及科学、数学与通用推理的对话，以及Qwen3.7_Max的5,000条专注于数学与科学的推理对话，共计25,973条高质量对话。每条数据均采用标准聊天格式，并可选包含显式的推理过程，其中8,303条（32%）携带reasoning_content字段。数据以固定种子42进行随机打乱，确保分布均衡。

特点

该数据集最显著的特点在于其三重前沿模型蒸馏的复合性，融合了不同架构与专长的推理能力，覆盖通用对话、科学、数学等多个领域。32%的数据包含显式推理内容，为模型学习链式思维提供了丰富范例。此外，数据集附带了source与domain标签，可溯源至具体模型与领域，便于研究者进行针对性分析与消融实验。数据规模适中（约2.6万条），既能高效微调，又保证了多样性与覆盖度，特别适用于提升语言模型的推理与对话能力。

使用方法

Matrix2-FineTune可通过HuggingFace Datasets库便捷加载，仅需一行代码即可获取训练集：ds = load_dataset('GenueAI/distill-sft-26k', split='train')。每条数据以messages字段存储多轮对话，其中assistant回复可包含reasoning_content键以获取链式推理过程。用户可依据source或domain字段筛选特定来源或领域的数据，例如仅使用Qwen3.7_Max蒸馏的数学样本进行针对性微调。数据采用Apache 2.0许可，便于学术与商业应用。

背景与挑战

背景概述

Matrix2-FineTune数据集由GenueAI团队于2024年创建，旨在应对大语言模型推理能力增强的迫切需求。该数据集整合了来自DeepSeek、Kimi和Qwen三大前沿模型的近26,000条高质量推理对话，覆盖通用、科学和数学三大领域。其中约32%的样本包含显式的推理内容链，凸显了其在教学式微调（SFT）与知识蒸馏研究中的核心地位。通过融合多源蒸馏数据，Matrix2-FineTune为促进模型从单纯语言生成向结构化推理能力的跃迁提供了关键资源，对推动AI推理对齐研究具有重要影响力。

当前挑战

数据集面临的核心挑战在于解决大语言模型推理能力不足的领域困境：传统监督微调数据多强调答案正确性，而忽视推理过程的可解释性与连贯性。具体挑战包括：1) 如何从异构源模型（DeepSeek、Kimi、Qwen）中蒸馏出风格各异的推理链，并确保跨域（通用、科学、数学）质量的一致性；2) 构建过程中需在仅32%样本含推理内容的稀疏标注下，平衡数量与推理深度，避免过拟合特定模型模式。此外，数据拼接时的领域偏差与格式标准化（如reasoning_content字段的缺失）进一步增加了微调鲁棒性的实现难度。

常用场景

经典使用场景

在大型语言模型的后训练阶段，监督微调（SFT）与推理能力蒸馏是提升模型性能的核心环节。Matrix2-FineTune数据集以其精心策划的25,973条高质量推理对话，为研究者提供了覆盖通用对话、科学推理与数学问题求解的标准化训练素材。该数据集最经典的应用场景是作为SFT微调语料，用于训练具有链式思维推理能力的对话式语言模型。通过融合DeepSeek、Kimi与Qwen三大前沿模型的蒸馏输出，研究社区能够便捷地复现和探索多源蒸馏策略对模型推理质量的影响，尤其在需要显式推理步骤的数学与科学任务上展现独特价值。

实际应用

在实际部署中，Matrix2-FineTune可作为智能教育助手、科学文献问答系统及编程辅助工具的训练基石。例如，基于该数据集微调的模型能够对用户提交的数学证明题提供分步推导解析，或对科研问题输出包含前提假设与逻辑链条的解答。此外，其通用对话子集可赋能客服机器人实现蕴含因果推理的回复生成，提升人机交互的深层理解力。对于需要可解释AI输出的金融风控与医疗诊断场景，该数据集训练出的模型不仅能给出结论，还能回溯决策依据，显著增强信任度与合规性。

衍生相关工作

围绕Matrix2-FineTune衍生了一系列具有影响力的学术工作：研究者基于其多源蒸馏结构，提出了自适应推理知识融合方法，在数学竞赛与科学常识推理基准上刷新了指标；它的显式推理字段催生了推理过程解析与错误定位的相关研究，推动了模型推理可解释性评估框架的建立。此外，该数据集的领域标签体系被后续工作扩展为细粒度的学科知识图谱增强集，而它的格式规范也成为了社区构建标准化推理SFT数据的事实参考，提升了不同蒸馏数据集间的兼容性与复用效率。