Mechinterp-dataset-2digits

该数据集是一个包含训练集和验证集的结构化文本数据集，每个分片各有15000个样本。数据集包含六个字符串类型的字段：唯一标识符(_id)、语言标识(language)、英文问题(eng_question)、英文答案(eng_answer)、模型响应(response)以及提示词(prompt)。数据规模方面，训练集约1.09MB，验证集约1.06MB，总数据集大小约2.15MB。从字段命名推断，数据可能涉及多语言或跨语言场景下的问答或指令遵循任务，包含原始问题、参考答案以及语言模型生成的响应，适用于自然语言处理中的模型训练、评估或分析任务。This is a structured text dataset comprising a training split and a validation split, with 15,000 samples per split. The dataset includes six string-type fields: unique identifier (_id), language indicator (language), English question (eng_question), English reference answer (eng_answer), model response (response), and prompt. Regarding data size, the training split is approximately 1.09 MB, the validation split is around 1.06 MB, and the overall dataset size totals roughly 2.15 MB. Based on the field naming conventions, this dataset is likely intended for question answering or instruction following tasks in multilingual or cross-lingual scenarios. It contains original questions, reference answers, and responses generated by large language models, and is applicable to model training, evaluation, and analysis tasks in the field of natural language processing.

原始信息汇总

• 数据集名称：Mechinterp-dataset-2digits
• 数据集地址：https://huggingface.co/datasets/Manoj-kanur/Mechinterp-dataset-2digits
• 数据集规模：训练集15,000条样本，验证集15,000条样本，总共30,000条样本，下载大小约690.7 KB，数据集总大小约2.1 MB。
• 数据集特征：包含6个字段，分别是_id（字符串）、language（字符串）、eng_question（字符串）、eng_answer（字符串）、response（字符串）、prompt（字符串）。
• 数据划分：分为训练集（train）和验证集（validation）两个部分，训练集数据文件路径为data/train-*，验证集数据文件路径为data/validation-*。
• 配置信息：提供默认配置（config_name为default），使用该配置即可加载数据。

搜集汇总

数据集介绍

构建方式

该数据集名为Mechinterp-dataset-2digits，专为机械可解释性研究而设计，聚焦于两位数字的算术运算任务。构建方式采用指令微调范式，通过生成涵盖加法、减法等基础运算的15000条训练样本与15000条验证样本，每条样本均包含英文问题、英文答案、模型响应及提示词字段。数据以语言为英语的标准化格式存储，确保了模型在数字推理任务中的可复现性与一致性评估。

特点

数据集的核心特点在于其结构化的字段设计与均衡的分割比例。每条记录整合了`_id`标识、`language`标注、`eng_question`与`eng_answer`对、`response`及`prompt`，为因果追踪与激活分析提供了清晰的中间表征映射。包含15,000条训练与15,000条验证样本的总量设计，兼顾了统计稳健性与计算效率，特别适合用于探究大型语言模型在符号运算背后的内部机制。

使用方法

使用方法上，研究者可通过HuggingFace数据集库直接加载默认配置，利用`train`与`validation`分割进行模型微调或探针分析。`prompt`字段可直接作为输入，`eng_answer`作为目标输出，而`response`字段允许对比模型生成结果与标准答案间的偏差。数据以Parquet格式分片存储，支持高效流式读取，便于进行梯度归因、激活补丁等机械可解释性实验。

背景与挑战

背景概述

Mechinterp-dataset-2digits数据集诞生于人工智能可解释性研究蓬勃发展的时期，由专注于机械可解释性（Mechinterp）的团队构建，旨在探究神经网络内部对两位数字运算的表示机制。该数据集包含15000条训练样本和15000条验证样本，每条样本涵盖英文问题、答案及模型响应，为分析大语言模型如何编码与解算数字关系提供了标准化基准。通过聚焦两位数字这一有限但具代表性的符号操作空间，该数据集促进了学界对模型内部数值推理路径的深入理解，在神经符号计算与AI透明度领域产生了显著影响。

当前挑战

该数据集所应对的核心挑战在于揭示语言模型处理数值逻辑时隐藏的表示与计算机制。具体而言，需要厘清模型是否依赖类似人类的分步运算策略，或是采用分布式编码进行近似映射，这要求数据集具备详尽的问题-答案对与对应内部激活记录。构建层面，面临确保问题表述多样性以避免模式过拟合、平衡十进制与位运算表述的均衡性、以及从少量模型行为数据中推断出具有泛化性的归因路径等难题。此外，验证集与训练集同规模设计，虽利于评估泛化能力，但也对数据切片无偏性提出了更高要求。

常用场景

经典使用场景

在可解释人工智能（XAI）与大型语言模型（LLM）的交叉领域中，Mechinterp-dataset-2digits为研究者提供了一扇窥探模型内部表征机制的窗口。该数据集以两位数字的简单算术问答为核心，精心构造了英汉双语的提示词与对应答案，特别适用于探究LLM如何编码与处理数字信息。其经典使用方式包括：分析模型在高、低位数字编码上的激活模式差异，追踪跨语言环境下数学推理路径的重合与分岔，以及通过扰动输入探查注意力头与多层感知机层的具体职能分工。这些研究能够帮助学界从微观层面理解模型的组合性泛化能力，为机械可解释性这一新兴领域奠定坚实的实验基础。

解决学术问题

Mechinterp-dataset-2digits精准地回应了当前大模型黑箱问题中最具挑战性的一个子问题：模型究竟如何执行看似简单的数字运算？通过提供大规模、带特定属性的训练与验证数据，该数据集使得研究者能够系统性地分离出数字值与其在语境中的位置编码，从而验证如圆周式编码、频率编码等理论假说。它不仅解决了传统可解释性研究中数据单一样本少、难以复现现象的困境，更重要的是，它为跨模型、跨语言的分析提供了标准化比较基准，极大地推动了从经验观察向形式化验证转变的学术进程。其意义在于，为构建更可靠、更透明的AI系统提供了第一手的因果证据。

衍生相关工作

围绕Mechinterp-dataset-2digits构建的数据范式，催生了一系列具有深远影响的经典工作。研究者以此为基础，发展出了针对数字特征的因果追踪技术，能够精准定位实现某一位数加法的关键注意力头。衍生工作还包括：对比不同规模模型在相同任务上的内部电路异同，从而提出模型扩展假说；利用该数据集定义的数值激活模式，进一步训练稀疏自编码器以分离出更基本的数字神经元。这些作品不仅加深了我们对LLM局部可解释性的理解，还推动了如激活修补、对数几率透镜等分析工具在社区内的广泛应用，使得机械可解释性从一个概念性的愿景变成了可操作的实验科学。