Arithmetic

ArithMark 2.0是一个专门为参数规模小于1000万的大型语言模型设计的算术预训练数据集。其核心目标是提升模型在标准算术基准测试上的性能，使其表现超越随机猜测水平。数据集采用一种精心设计的七层渐进式架构构建，每层聚焦于特定且逐渐复杂的算术技能：第一层涵盖数字表示与计数基础；第二层包含个位数算术表，并使用Ministral-3B模型进行语言重述；第三层涉及多位数逐步计算；第四层讲解运算符优先级与括号使用规则；第五层为多运算符组合问题；第六层引入了对抗性和干扰性示例以增强鲁棒性；第七层则扩展到自然语言表述的文字问题。在整个生成过程中，所有算术答案均通过Python代码进行自动化验证以确保正确性，而Mistral系列模型仅负责生成问题描述和解释性文本。数据集最终以Parquet格式文件提供，记录了原始的生成顺序。

ArithMark 2.0 is an arithmetic pre-training dataset specifically designed for large language models with parameter scales under 10 million. Its core objective is to enhance model performance on standard arithmetic benchmark tests, enabling it to surpass random guessing levels. The dataset is constructed using a meticulously designed seven-layer progressive architecture, with each layer focusing on specific and gradually complex arithmetic skills: the first layer covers the basics of number representation and counting; the second layer includes single-digit arithmetic tables, with language paraphrasing using the Ministral-3B model; the third layer involves step-by-step calculations with multi-digit numbers; the fourth layer explains operator precedence and bracket usage rules; the fifth layer consists of multi-operator combination problems; the sixth layer introduces adversarial and distracting examples to enhance robustness; and the seventh layer extends to word problems expressed in natural language. Throughout the generation process, all arithmetic answers are automatically verified for correctness using Python code, while the Mistral series models are solely responsible for generating problem descriptions and explanatory text. The dataset is ultimately provided in Parquet format files, recording the original generation order.

原始信息汇总

ArithMark 2.0 Pretraining Dataset

该数据集专为参数量在1000万以下的语言模型预训练而设计，目标是在 AxiomicLabs/ArithMark-2.0 基准上取得优于随机水平的成绩。

基本信息

• 语言：英语（en）
• 标签：算术（arithmetic）、预训练（pretraining）、子千万参数（sub-10M）、ArithMark
• 数据文件：arithmark_raw.parquet（原始生成顺序）

七层架构

数据集采用七层递进式结构，涵盖从基础数字表示到自然语言应用题：

层级	内容	是否由LLM生成？
1	数字表示与计数	否
2	个位数算术表	是（Ministral-3B 改写）
3	多位数字逐步算术（TPT）	是（Ministral-3B TPT）
4	运算符优先级与括号	是（Ministral-3B 解释）
5	多运算符组合	否
6	对抗性与干扰性示例	否
7	自然语言文字题	是（Ministral-3B）

关键说明

• 所有算术答案均经过 Python 验证，Ministral-3B 仅用于生成文本描述部分。
• 生成时间：2026-06-04 13:26 UTC

搜集汇总

数据集介绍

构建方式

Arithmetic数据集专为参数量低于1000万的小型语言模型设计，旨在提升其在算术推理任务中的表现。该数据集通过七层递进式架构构建，从数字表征与计数、个位数运算表，逐步过渡到多位数逐步计算、运算符优先级与括号处理、多运算符组合，再到对抗性与干扰项示例，最终涵盖自然语言应用题。其中，第2、3、4、7层借助Ministral-3B模型进行改写、逐步推理或解释生成，而所有算术答案均经Python验证，确保结果准确无误。

特点

该数据集的核心特点在于其层次化、系统化的难度递进设计，覆盖从基础认知到复杂推理的完整算术学习路径。每一层聚焦特定数学技能，且部分层级结合大语言模型生成自然语言描述，使数据兼具精确性和语言多样性。此外，数据集包含对抗性示例和干扰项，有效增强模型的鲁棒性与泛化能力。全部答案经程序校验，保证了训练数据的可靠性，为小模型在ArithMark基准上超越随机水平提供了坚实支撑。

使用方法

使用时，可直接从HuggingFace加载'arithmark_raw.parquet'文件，该文件包含按原始生成顺序排列的数据记录。用户可依据七层架构按需选择特定层级进行训练或评估，例如针对多位数运算或自然语言问题单独微调。鉴于数据集面向小参数模型，建议配合轻量级架构使用，并参考ArithMark基准进行性能验证。数据以Parquet格式存储，便于高效读写，适合与主流深度学习框架（如PyTorch、TensorFlow）集成。

背景与挑战

背景概述

ArithMark 2.0预训练数据集由AxiomicLabs于2026年6月创建，专注于为参数量低于1000万的小型语言模型提供算术推理训练资源。该数据集通过七层递进式架构设计，系统性地覆盖了从数字表征、单/多位运算到运算符优先级、复合运算及自然语言应用题等核心算术能力，旨在解决小型模型在复杂数学推理中的随机猜测问题。其生成过程结合Python验证与Ministral-3B模型辅助改写，确保了数学正确性与语言流畅性，为低资源场景下的算术推理研究提供了标准化基准，有望推动小型语言模型在数学能力上的突破。

当前挑战

该数据集主要挑战包括：1) 解决小型语言模型在算术推理任务中的随机猜测问题，即模型需在ArithMark-2.0基准测试中达到高于随机水平的准确率，而非仅依赖模式记忆；2) 构建过程中需确保数据层次递进性与逻辑连贯性，从基础数字识别逐步过渡到多步混合运算与对抗示例，防止模型在早期层级产生错误泛化；3) 借助Ministral-3B进行文本改写与步骤解释时，需平衡答案正确性与语言自然性，避免引入术语歧义或计算偏差，同时维护Python验证的严格性以保证数学严谨。

常用场景

经典使用场景

在自然语言处理与数学推理的交叉领域，算术能力被视为衡量模型基本数理逻辑与符号操作能力的重要标尺。Arithmetic数据集专为参数量低于1000万的轻量级语言模型设计，通过精心编排的七层渐进式框架，从数字表征与计数出发，逐层过渡到单数字算术表、多数字逐步运算、运算符优先级与括号处理、多运算符组合、对抗性样本干扰，最终落脚于自然语言应用题。这一结构化设计使其成为评估与训练小参数模型基础算术推理能力的经典基准，尤其在资源受限场景下，为探索模型逻辑推理能力的底线提供了标准化的测试平台。

衍生相关工作

围绕Arithmetic数据集的结构化算术训练理念，衍生出多项具有影响力的后续工作。例如，基于其七层渐进式架构，研究者提出了“层级预训练”策略，将算术知识由简入繁地注入小参数模型，显著提升模型在复杂运算中的准确率。该数据集的对抗性样本设计启发了“鲁棒算术推理”方向的相关研究，催生了如ArithGuard等专门评估模型抗干扰能力的数据集与基准。此外，其自然语言应用题部分为“数学文字问题解析”这一子领域提供了新的训练素材，推动了端到端模型在非符号化数学推理上的进步，相关方法已被应用于数学竞赛问题求解的轻量化模型训练中。

数据集最近研究

最新研究方向

面向亚千万参数规模语言模型的算术推理能力渐进式训练数据集。Arithmetic数据集（ArithMark 2.0）专为参数低于1000万的轻量级语言模型设计，通过七层递进式架构系统性地构建算术推理能力：从数字表征与计数出发，经单多位数运算、运算符优先级、多运算符组合，直至对抗性样例与自然语言应用题。该数据集采用混合生成策略，部分层级利用Ministral-3B模型进行语义改写与解释生成，且所有算术答案均经过Python验证以确保准确性。这一研究聚焦于资源受限环境下LLM的基础数学推理能力培养，为探索小型化模型在逻辑推理任务中的极限表现提供了标准化训练基准。