Arithmark-3.0
收藏资源简介：
ArithMark 3.0 是一个用于评估语言模型算术能力的第三代基准测试数据集。与之前版本不同，本数据集的问题以延续式的简短英语文字题形式呈现，而非裸露的数学等式。数据集主要设计用于对基础语言模型进行延续对数似然评分，无需模型具备指令跟随、思维链或生成解释的能力。数据集规模为1,000个示例，每个示例包含一个未完成的文字题上下文和四个可能的延续选项，构成一个四选一的多项选择题。正确答案在四个选项位置上均匀分布（各占25%），随机猜测准确率为25%。数据覆盖17个算术主题，包括加法、减法、乘法、除法、金钱、时间、测量、几何（面积与周长）、分数、模式、数据、比较以及两步运算等。每个主题关联特定的美国小学年级段（1-5年级）和难度等级（简单或中等）。数据集共使用47个模板生成，数据为合成生成。其适用任务为语言模型的算术推理能力评估，特别是针对基础模型在无需复杂提示工程下的核心计算与文本理解能力测评。
ArithMark 3.0 is a third-generation benchmark dataset for evaluating the arithmetic capabilities of language models. Unlike previous versions, the problems in this dataset are presented as continuation-style short English word problems, rather than bare mathematical equations. The dataset is primarily designed for continuation log-likelihood scoring of base language models, without requiring the models to have instruction-following, chain-of-thought, or explanation generation capabilities. The dataset consists of 1,000 examples, each containing an unfinished word problem context and four possible continuation options, forming a multiple-choice question with four options. The correct answers are evenly distributed across the four option positions (each accounting for 25%), with a random guess accuracy of 25%. The data covers 17 arithmetic topics, including addition, subtraction, multiplication, division, money, time, measurement, geometry (area and perimeter), fractions, patterns, data, comparison, and two-step operations, among others. Each topic is associated with specific U.S. elementary school grade levels (grades 1-5) and difficulty levels (easy or medium). The dataset is generated using 47 templates and is synthetically produced. Its applicable task is the evaluation of language models arithmetic reasoning abilities, particularly for assessing the core computational and text comprehension capabilities of base models without complex prompt engineering.
ArithMark 3.0 数据集概述
基本信息
- 数据集名称: ArithMark 3.0
- 许可证: Apache-2.0
- 语言: 英语
- 数据规模: 1,000 条样本
- 任务类型: 问答（多项选择）
- 数据来源: 合成数据
- 随机猜测准确率: 25%
数据格式
每条样本包含一个未完成的文字问题（ctx）、四个可能的续写选项（endings）以及零索引的正确选项索引（label）。示例：
json
{
"ctx": "Sam had 43 rubber bands. A friend gave Sam 19 more. Afterward, Sam had",
"endings": [" 63 rubber bands.", " 62 rubber bands.", " 61 rubber bands.", " 60 rubber bands."],
"label": "1"
}
正确答案为 "62 rubber bands."，标签值为 1。
数据集组成
主题分布
数据集涵盖 17 个主题，每个主题对应特定的年级段和难度级别。主要主题包括：加法、减法、测量、乘法、金钱、时间、除法、模式、几何（面积）、分数（计数）、比较（差值）、两步加减法、几何（周长）、比较、数据、两步减法、两步加法。共使用 47 个模板生成样本。
难度分布
| 难度 | 样本数 | 占比 |
|---|---|---|
| 简单 | 419 | 41.9% |
| 中等 | 581 | 58.1% |
| 总计 | 1,000 | 100.0% |
年级段分布
| 年级段 | 样本数 | 占比 |
|---|---|---|
| 1–2 年级 | 245 | 24.5% |
| 2–3 年级 | 363 | 36.3% |
| 3–4 年级 | 295 | 29.5% |
| 4–5 年级 | 97 | 9.7% |
| 总计 | 1,000 | 100.0% |
正确选项位置分布
四个选项位置（0、1、2、3）各占 250 个样本（25%），完全平衡，消除了位置频率带来的偏差。
基线结果
数据集提供了 78 个模型的基线评估结果，最高得分为 65.70%（facebook/MobileLLM-R1-140M-base），最低得分为 24.80%（GODELEV/Ant-5m）。该基准主要适用于基础模型的续写对数似然评分，不需要指令遵循或思维链。
