cartesia-ai/nemotron-math-v2-20k-smollm3v3-sft

该数据集包含三个清理过的Nemotron Math v2 20k分割，专为SmolLM3-v3风格的监督微调（SFT）准备。数据集通过配置/子集（low、medium和high）加载，每个子集对应不同的难度级别。每个数据行是一个JSON对象，包含一个messages列表和预处理元数据，其中助手消息包含用于SFT的渲染推理/答案文本。每个子集目录还包括本地Gypsum预标记化缓存元数据（gypsum_sft_cache_meta.json）。数据集来源表格显示，low、medium和high子集分别有约103.8M、202.3M和685.4M的本地缓存令牌计数，原始JSONL文件大小分别为92M、189M和657M。共享预处理设置包括使用smollm3-v3聊天模板、字节标记化器，每个子集有20,000行数据。This dataset contains three cleaned Nemotron Math v2 20k splits, specifically prepared for supervised fine-tuning (SFT) in the SmolLM3-v3 style. The dataset is loaded through three configurations/subsets: low, medium, and high, each corresponding to a distinct difficulty level. Each data row is a JSON object containing a messages list and preprocessing metadata, where the assistant message includes the rendered inference or answer text for SFT. Each subset directory also includes local Gypsum pre-tokenized cache metadata (gypsum_sft_cache_meta.json). According to the dataset source table, the low, medium, and high subsets have local cache token counts of approximately 103.8M, 202.3M, and 685.4M respectively, with their raw JSONL file sizes being 92M, 189M, and 657M respectively. Shared preprocessing settings adopt the SmolLM3-v3 chat template and byte-level tokenizer, with each subset containing 20,000 data rows.

原始信息汇总

数据集概述

基本信息

• 数据集名称：Nemotron Math v2 20k SmolLM3-v3 SFT Splits
• 发布机构：Cartesia（组织 ID：cartesia-ai）
• 任务类型：文本生成（Text Generation）
• 数据类型：表格数据（Tabular）、文本（Text）
• 数据格式：JSON
• 语言：英文（English）
• 数据集规模：10K - 100K 行
• 标签：h-net, post-training, supervised-fine-tuning, math, nemotron-math, smollm3-v3
• 使用的库：Datasets, pandas, Polars

数据集结构与大小

• 总行数：60,000 行
• 总文件大小：982 MB
• 近一月下载量：11 次

子集与划分

数据集包含三个子集（subset），可通过 low、medium、high 配置项加载，每个子集仅含一个 train 划分，各 20,000 行：

• low：20,000 行
• medium：20,000 行
• high：20,000 行

数据内容与格式

• 每一行是一个 JSON 对象，包含：
  • messages 列表（对话历史）
  • 预处理元数据（如 source_split, source_alias, source_index, sample_order, transform, chat_template_variant, assistant_reply_bytes, assistant_reasoning_bytes, assistant_answer_bytes, raw_message_count, raw_role_counts, collapsed_tool_trace, collapsed_tool_calls, rendered_num_bytes, assistant_spans, supervised_bytes, template_sha256）
• 助手消息包含用于监督微调（SFT）的推理/答案文本。

数据来源与预处理

• 来源：每个子集来自不同的 Nemotron Math v2 清理版本：
  • low：nemotron_math_v2_easy_low_20k_clean_think_reply_le80000_seed42_smollm3v3，本地缓存 token 数 103,785,383，原始 JSONL 大小 92 MB
  • medium：nemotron_math_v2_medium_medium_20k_clean_think_reply_le80000_seed42_smollm3v3，本地缓存 token 数 202,271,909，原始 JSONL 大小 189 MB
  • high：nemotron_math_v2_high_part00_high_part00_20k_clean_think_reply_le80000_seed42_smollm3v3，本地缓存 token 数 685,446,441，原始 JSONL 大小 657 MB
• 共享预处理设置：
  • 聊天模板：smollm3-v3
  • 用于本地训练缓存的 tokenizer：字节 tokenizer
  • 每子集行数：20,000

文件列表

每个子集目录下包含：

• <subset>/train.jsonl
• <subset>/gypsum_sft_cache_meta.json（本地 Gypsum 预 tokenized 缓存元数据）

加载方式示例

python from datasets import load_dataset

ds_low = load_dataset("cartesia-ai/nemotron-math-v2-20k-smollm3v3-sft", "low", split="train") ds_medium = load_dataset("cartesia-ai/nemotron-math-v2-20k-smollm3v3-sft", "medium", split="train") ds_high = load_dataset("cartesia-ai/nemotron-math-v2-20k-smollm3v3-sft", "high", split="train")

搜集汇总

数据集介绍

构建方式

该数据集基于Nemotron Math v2原始20k数学推理语料，经精心清洗与重构而来。构建过程中依据题目难度与推理复杂度将数据划分为低、中、高三个子集，每个子集均包含20,000条样本。每条样本以JSON格式存储，内含对话消息列表及预处理元数据，其中助手消息呈现了供监督微调使用的推理与答案文本。为确保训练一致性，所有子集统一采用SmolLM3-v3对话模板，并使用字节分词器进行本地训练缓存预处理，同时附加了Gypsum格式的缓存元数据文件。

特点

该数据集最显著的特点在于其精细化的难度分层设计，通过低、中、高三个配置子集，能够适应不同规模的模型与训练阶段的需求。每个子集在规模上保持均衡，但在推理链长度与数学复杂性上呈现出递增梯度，为渐进式学习提供了天然的数据支撑。此外，数据集统一采用SmolLM3-v3对话模板，格式规范且兼容主流训练框架，有助于提升数学推理能力的监督微调效率与效果。

使用方法

用户可通过HuggingFace Datasets库便捷加载该数据集，调用load_dataset函数并指定所需难度配置（如"low"、"medium"或"high"）即可获取对应子集的训练数据。每个子集以JSONL格式呈现，可直接用于构建数据加载器或进行自定义预处理。数据集兼容PyTorch、TensorFlow等主流深度学习框架，适用于数学推理任务的监督微调实验，特别适合探索难度递增训练策略的研究场景。

背景与挑战

背景概述

Nemotron Math v2 20k SmolLM3-v3 SFT数据集由Cartesia AI研究团队于近期构建，旨在服务于小型语言模型（如SmolLM3-v3）的数学推理能力微调。该数据集源自Nemotron Math v2 20k原始语料，经过清洗与标准化处理，划分为low、medium、high三个难度子集，每个子集包含20,000条训练样本。其核心研究问题聚焦于如何通过高质量的监督微调数据提升轻量级模型在数学推理任务上的表现，探索在不同难度分布下模型性能的差异。该数据集为后训练阶段的数学能力增强提供了标准化的数据资源，对推动高效小型数学推理模型的发展具有重要参考价值。

当前挑战

该数据集所解决的领域问题在于，小型语言模型在数学推理任务中常面临复杂逻辑链建模与多步计算准确性的挑战，而现有数据多面向大模型，缺乏针对轻量级模型的难度分级微调资源。在构建过程中，研究人员需应对原始语料中噪声高、推理步骤不完整的问题，通过清洗和统一聊天模板（smollm3-v3）实现标准化。此外，三个子集在token数量上差异显著（从约1亿到6.8亿），如何确保不同难度层级间数据的语义一致性与难度区分度，同时避免因数据规模悬殊导致的训练偏倚，是构建中的关键难点。

常用场景

经典使用场景

Nemotron Math v2 20k SmolLM3-v3 SFT数据集在数学推理与语言模型微调领域中扮演着重要角色。该数据集精心筛选了来自Nemotron Math v2的20,000条高质量数学问题-解答对，并按照难度层级划分为低、中、高三个子集，为研究者提供了多维度的训练素材。经典的使用场景集中于对中小型语言模型进行监督式微调，特别是采用SmolLM3-v3风格的对话模板，使模型能够学习从问题到推理过程再到最终答案的完整链条。这一数据集尤其适合用于提升模型在数学文字题求解、多步逻辑推理以及符号运算等任务上的表现，因其涵盖了从简单算术到复杂代数问题的广泛难度梯度，能够循序渐进地增强模型的数学认知能力。

衍生相关工作

该数据集的发布催生了一系列关于数学推理模型能力演进的经典研究工作。相关学者利用其低、中、高难度子集，系统性地分析了课程学习策略对数学大语言模型收敛速度与泛化边界的影响，推动了SMoE（稀疏混合专家）架构与层级化训练数据的结合。另有工作将其与链式思维提示技术相结合，探索了将复杂数学问题分解为子逻辑单元的有效方法，从而提升了模型在多步骤推理任务中的准确率。此外，该数据集还被用作基准之一，用于评估不同预训练-微调范式对数学能力的迁移效果，例如比较全参数微调与LoRA等参数高效方法在数学任务上的表现差异。这些衍生工作不仅深化了对数学推理的理解，也为后续研究提供了方法论与数据基础。

数据集最近研究

最新研究方向

该数据集聚焦于数学推理能力的监督式微调，为中小规模语言模型（如SmolLM3-v3）提供分难度等级的训练数据。当前，数学推理被视为评估大模型逻辑与符号能力的核心基准，而Nemotron Math v2 20k SmolLM3-v3 SFT通过精心划分的低、中、高三个子集，为模型在数学任务上的渐进式学习与泛化能力优化提供了可能。其研究前沿在于探索不同复杂度的数学训练数据如何影响模型的推理链路质量，尤其与“思维链”（Chain-of-Thought）技术结合，推动后训练阶段针对数学领域的高效适配。这一方向与业界对轻量化模型在专业化任务上性能提升的需求相呼应，为资源受限场景下的数学AI应用奠定了基础。