tohio/slm-synthetic-arithmetic

SLM Synthetic Arithmetic 是一个合成数据集，专注于整数算术、文字问题、比较、缺失值问题以及紧凑的推理步骤。该数据集旨在用于SLM数据实验、预训练/持续预训练混合、预训练和行为评估。它包含773,952条记录，存储大小为193.4 MB，数据以JSONL格式存储，每条记录包含类型、问题、步骤和答案字段。数据集经过精确去重处理，但由于是合成生成，可能包含简单、重复或不完美的示例，因此在使用前应进行检查，且不应视为权威事实知识的来源。SLM Synthetic Arithmetic is a synthetic dataset focused on integer arithmetic, word problems, comparison tasks, missing-value problems, and concise reasoning steps. This dataset is designed for SLM data experiments, mixed pre-training/continuous pre-training, standalone pre-training, and behavioral evaluation. It contains 773,952 records with a total storage size of 193.4 MB, stored in JSONL format. Each record includes fields for type, question, step, and answer. The dataset has undergone exact deduplication. However, as it is synthetically generated, it may contain simple, repetitive, or imperfect examples, so it should be inspected prior to use and should not be regarded as a source of authoritative factual knowledge.

搜集汇总

数据集介绍

构建方式

该数据集通过自动化流程生成，专注于整数算术、文字应用题、比较、缺失值问题及紧凑推理步骤等数学推理场景。数据采用JSONL格式存储，每行记录包含类型（type）、问题（question）、推理步骤（steps）和答案（answer）四个字段。共生成773,952条记录，总存储空间为193.4 MB，生成日期标记为2026年5月30日。数据集经过精确去重处理，未使用模糊MinHash去重，以保留合成数据中结构相似但对模型学习有益的模式。

特点

本数据集的特点在于其合成属性与数学推理的针对性设计。所有数据均为自动生成，覆盖多种算术问题类型，每个问题均附带清晰的推理步骤，有助于训练小语言模型的逻辑链推导能力。数据集规模适中，便于快速实验和迭代，且采用精确去重保证数据质量。其设计初衷并非提供权威事实知识，而是作为预训练、继续预训练及行为评估的实验材料，特别适用于探索小语言模型的推理性能边界。

使用方法

该数据集支持直接通过JSONL文件读取，适用于小语言模型的预训练混合、继续预训练及行为评估等实验场景。用户可依据记录中的type字段筛选特定问题类型，利用steps字段监督模型生成推理过程，或以question字段作为输入、answer字段作为标签进行微调。由于数据为合成信号，建议使用前进行抽样审查，以评估其与目标任务的相关性与质量，避免因简单重复或结构不完善的样本对模型性能产生负面影响。

背景与挑战

背景概述

该数据集由研究机构于2026年5月30日生成，聚焦于小语言模型（SLM）的算术推理能力增强。核心研究问题在于通过合成数据提升模型在整数运算、文字题、比较与缺失值问题等领域的推理表现。数据集包含773,952条记录，采用精确去重策略以确保结构一致性，为SLM预训练、持续训练及行为评估提供高质量素材。其影响力体现在为小参数模型提供专门化的推理训练资源，弥补了自然数据集中算术推理样本不足的缺陷，推动了高效能小模型在数学推理任务上的发展。

当前挑战

领域挑战方面，算术推理任务要求模型理解多步逻辑并生成精确答案，而小语言模型因参数量有限，在复杂推理中易出现计算错误或步骤跳跃。构建挑战则在于合成数据的真实性与多样性平衡，尽管精确去重避免了冗余，但缺乏模糊去重可能导致结构相似样本过多，限制模型泛化能力。此外，合成数据可能包含重复或简单样例，需人工审核其质量，否则会引入噪声并影响模型在真实场景中的鲁棒性。

常用场景

经典使用场景

在小型语言模型（SLM）的预训练与持续预训练研究中，slm-synthetic-arithmetic数据集因其结构化的整数运算、文字应用题、数值比较及缺失值推理等合成样本，成为评估和增强模型算术推理能力的经典基准。研究者常将其融入预训练语料混合，促使模型在简洁的推理步骤引导下，掌握基础数学逻辑与符号操作，尤其适用于验证合成数据对模型性能提升的有效性。

解决学术问题

该数据集直面大语言模型在基础算术推理中暴露的脆弱性问题，如多步运算的连贯性缺失与情境理解偏差。通过提供大量去重且具有清晰推理链条的合成问题，它帮助学术界剖析模型在符号推理、数值关系映射及逻辑迁移上的能力边界，推动了关于数据质量、合成信号设计与模型泛化之间关联性的深入研究，为构建更稳健的推理框架奠定了实证基础。

衍生相关工作

围绕该数据集衍生出多项经典工作，包括探索合成数据与真实数据混合比例的鲁棒性研究，以及基于推理链提取的元学习框架设计。部分学者将其与代码生成数据结合，构建跨模态算术推理协议；另一些工作则聚焦于压缩推理步骤以提升SLM效率，或通过对比预训练与微调阶段的增益来优化数据配方，这些努力共同深化了对合成算术信号价值的理解。