a-m-team/AM-DeepSeek-Distilled-40M

AM-DeepSeek-Distilled-40M是一个大规模、无偏见的难度分级推理数据集，包含约3.34百万个独特的查询和4千万个模型生成的响应，来源于多个高质量的开放源数据集，涵盖五大类别：代码、数学、科学、指令遵循和其他一般推理任务。该数据集旨在实现针对特定难度要求的数据子集选择，并为各种训练范式（如监督微调、偏好学习、强化学习等）提供强大的基础。数据集包括各种特征，如问题、答案、问题来源、答案来源、类别、正确答案、测试用例、指令约束、DeepSeek-R1通过率、DeepSeek-R1-Distill-Qwen-7B通过率、DeepSeek-R1-Distill-Qwen-1.5B通过率、验证分数、困惑度和模型名称。数据集还包括文件结构、示例数据、专用字段、如何获取不同模型的通过率、数据统计、限制和用途限制以及引用信息。

AM-DeepSeek-Distilled-40M is a large-scale, unbiased difficulty-graded reasoning dataset constructed by the AM Team. This dataset contains approximately 3.34 million unique queries, totaling 40 million model-generated responses, sourced from numerous high-quality open-source datasets covering five major categories: code, math, science, instruction-following, and other general reasoning tasks. Each query is paired with responses distilled from three different-sized models (DeepSeek-R1-Distill-Qwen-1.5B, DeepSeek-R1-Distill-Qwen-7B, and DeepSeek-R1). For each query, each model generated four sampled responses, resulting in the comprehensive dataset mentioned above. Difficulty ratings are provided based on comparative success rates across these differently-sized models, significantly reducing bias inherent in difficulty grading derived from a single model.

搜集汇总

数据集介绍

构建方式

在大规模语言模型推理能力提升的研究背景下，AM-DeepSeek-Distilled-40M 数据集由 AM Team 构建，旨在提供无偏的难度分级推理数据。其构建过程首先从多个高质量开源数据源中筛选出约 334 万条独特查询，涵盖代码、数学、科学、指令遵循及其他通用推理五大类别。随后，利用三种不同规模的模型——DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B 及 DeepSeek-R1，对每条查询分别生成四次采样响应，总计获得约 4000 万条模型生成回答。为消除单一模型带来的难度评分偏差，通过计算不同规模模型在任务上的通过率，基于相对性能差异确定任务难度，从而构建出大规模、无偏的难度分级推理数据集。

特点

该数据集最显著的特点在于其多维度、细粒度的难度标注体系。每条数据均包含来自三个不同规模模型的通过率（pass_rate_r1、pass_rate_7b、pass_rate_1.5b），以及当前模型响应的正确性评分（verify_score）和困惑度（ppl），实现了对任务难度的客观量化。数据覆盖数学、代码、科学、指令遵循及通用推理五大领域，来源广泛，整合了 OpenHermes-2.5、NuminaMath、KodCode 等 30 个高质量开源数据源。特别地，不同类别数据采用差异化的评分验证策略，如数学使用 Math-Verify、代码通过沙箱测试、科学借助 Qwen2.5-7B-Instruct 模型评估，确保了评分结果的严谨性与可靠性。

使用方法

该数据集支持多种训练范式，用户可根据研究需求灵活选用。数据集按模型和采样次数组织为 12 个 JSONL 文件，每个文件包含统一的字段结构，如问题、回答、来源、类别、通过率等。研究者可通过指定 config_name（如 code_1.5b_1pass）加载特定子集。基于提供的通过率与难度信息，可筛选出符合特定难度要求的数据子集，应用于监督微调、偏好学习（如 DPO）及强化学习（如 PPO、GRPO）等场景。需注意每条查询重复出现 12 次对应不同回答，且部分 ground_truth 标签可能存在不准确之处，建议用户在使用前仔细校验数据质量。

背景与挑战

背景概述

在大规模语言模型（LLM）推理能力提升的研究浪潮中，任务难度对训练效果的显著影响已成为共识。然而，现有方法多依赖单一大型语言模型进行难度评分，因模型差异、提示策略及主观偏好等因素，导致绝对难度分数存在严重偏差，难以有效应用于实际训练。为突破这一瓶颈，AM团队于2025年发布了AM-DeepSeek-Distilled-40M数据集，依托其提出的DeepDistill框架，通过聚合来自三种不同规模模型（DeepSeek-R1-Distill-Qwen-1.5B、7B及DeepSeek-R1）的多次响应，计算通过率以相对性能差异定义任务难度。该数据集包含约334万条独特查询及4000万条模型生成响应，覆盖代码、数学、科学、指令遵循及通用推理五大类别，为构建无偏、细粒度的难度分级推理数据树立了新标杆，对推动LLM在复杂推理任务中的发展具有深远影响。

当前挑战

该数据集所解决的领域挑战在于，传统基于单一模型的绝对难度评分存在系统性偏差，导致难以精准匹配训练数据与模型能力，限制了推理能力的有效提升。AM-DeepSeek-Distilled-40M通过多模型通过率对比的相对难度度量，显著降低了这一偏差。在构建过程中，团队面临多重挑战：首先，需从30个高质量开源数据源中筛选并去重海量查询，确保数据多样性与覆盖度；其次，对数学、代码、科学等不同类别任务需设计严格的验证流程（如数学采用Math-Verify、代码通过沙箱测试），并设定高阈值（如科学评分>4.99）以保证响应正确性；此外，还需协调多模型（1.5B、7B、671B）的推理输出，平衡计算成本与采样次数（每查询每模型4次），最终形成12个JSONL文件。数据中ground_truth标签的潜在不准确性及重复查询的12次响应冗余，亦为使用者带来额外考量。

常用场景

经典使用场景

AM-DeepSeek-Distilled-40M数据集的核心经典应用场景在于为大规模语言模型提供多维度、多粒度的推理能力蒸馏训练。该数据集汇聚了约334万条独特查询，并经由1.5B、7B及671B三种不同规模的DeepSeek蒸馏模型分别生成四轮采样回答，总计四千万条响应。研究者可基于此数据集，针对数学、代码、科学、指令遵循及通用推理五大任务类别，开展监督微调（SFT）、偏好学习（如DPO）及强化学习（如PPO、GRPO）等多样化训练范式，从而有效提升模型在复杂推理任务上的表现。

衍生相关工作

围绕AM-DeepSeek-Distilled-40M数据集，已衍生出多项具有影响力的研究工作。其支撑论文《DeepDistill: Enhancing LLM Reasoning Capabilities via Large-Scale Difficulty-Graded Data Training》系统阐述了基于难度分级的蒸馏训练方法论。此外，该数据集与AM Team开源的系列模型及配套代码库（GitHub仓库）共同构建了完整的训练-评估生态链。后续工作可基于该数据集的通过率分布特征，探索课程学习（Curriculum Learning）、自适应数据筛选等进阶训练策略，进一步推动推理增强型语言模型的发展。

数据集最近研究

最新研究方向

AM-DeepSeek-Distilled-40M数据集聚焦于构建大规模、无偏见的难度分级推理数据集，以提升大语言模型在数学、代码生成和科学推理等领域的推理能力。该数据集通过融合来自30个高质量开源来源的约334万独特查询，并利用DeepSeek-R1及其蒸馏变体（1.5B、7B和完整版）生成总计4000万条模型响应，创新性地采用多模型通过率替代单一模型绝对难度评分，显著降低了难度标注中的偏差。研究前沿体现在其难度分级设计支持监督微调、偏好学习（如DPO）和强化学习（如PPO、GRPO）等多种训练范式，尤其与DeepSeek-R1的推理链蒸馏技术相结合，在AIME 2024上仅通过监督微调便使72B模型达到79.2分，逼近开源最优水平。该工作为长链推理的规模化训练提供了可靠的数据基础，推动了开源社区在复杂推理任务上的能力边界。