LieUr/Llama-3.2-3B-Instruct_gsm8k_oai_contrastive

---
dataset_info:
- config_name: keys
features:
- name: label
dtype: int64
- name: layer_0
list:
list: float32
- name: layer_1
list:
list: float32
- name: layer_2
list:
list: float32
- name: layer_3
list:
list: float32
- name: layer_4
list:
list: float32
- name: layer_5
list:
list: float32
- name: layer_6
list:
list: float32
- name: layer_7
list:
list: float32
- name: layer_8
list:
list: float32
- name: layer_9
list:
list: float32
- name: layer_10
list:
list: float32
- name: layer_11
list:
list: float32
- name: layer_12
list:
list: float32
- name: layer_13
list:
list: float32
- name: layer_14
list:
list: float32
- name: layer_15
list:
list: float32
- name: layer_16
list:
list: float32
- name: layer_17
list:
list: float32
- name: layer_18
list:
list: float32
- name: layer_19
list:
list: float32
- name: layer_20
list:
list: float32
- name: layer_21
list:
list: float32
- name: layer_22
list:
list: float32
- name: layer_23
list:
list: float32
- name: layer_24
list:
list: float32
- name: layer_25
list:
list: float32
- name: layer_26
list:
list: float32
- name: layer_27
list:
list: float32
splits:
- name: train
num_bytes: 46281600
num_examples: 400
download_size: 60227197
dataset_size: 46281600
- config_name: residuals
features:
- name: label
dtype: int64
- name: layer_0
list: float32
- name: layer_1
list: float32
- name: layer_2
list: float32
- name: layer_3
list: float32
- name: layer_4
list: float32
- name: layer_5
list: float32
- name: layer_6
list: float32
- name: layer_7
list: float32
- name: layer_8
list: float32
- name: layer_9
list: float32
- name: layer_10
list: float32
- name: layer_11
list: float32
- name: layer_12
list: float32
- name: layer_13
list: float32
- name: layer_14
list: float32
- name: layer_15
list: float32
- name: layer_16
list: float32
- name: layer_17
list: float32
- name: layer_18
list: float32
- name: layer_19
list: float32
- name: layer_20
list: float32
- name: layer_21
list: float32
- name: layer_22
list: float32
- name: layer_23
list: float32
- name: layer_24
list: float32
- name: layer_25
list: float32
- name: layer_26
list: float32
- name: layer_27
list: float32
splits:
- name: train
num_bytes: 137673600
num_examples: 400
download_size: 170563344
dataset_size: 137673600
- config_name: values
features:
- name: label
dtype: int64
- name: layer_0
list:
list: float32
- name: layer_1
list:
list: float32
- name: layer_2
list:
list: float32
- name: layer_3
list:
list: float32
- name: layer_4
list:
list: float32
- name: layer_5
list:
list: float32
- name: layer_6
list:
list: float32
- name: layer_7
list:
list: float32
- name: layer_8
list:
list: float32
- name: layer_9
list:
list: float32
- name: layer_10
list:
list: float32
- name: layer_11
list:
list: float32
- name: layer_12
list:
list: float32
- name: layer_13
list:
list: float32
- name: layer_14
list:
list: float32
- name: layer_15
list:
list: float32
- name: layer_16
list:
list: float32
- name: layer_17
list:
list: float32
- name: layer_18
list:
list: float32
- name: layer_19
list:
list: float32
- name: layer_20
list:
list: float32
- name: layer_21
list:
list: float32
- name: layer_22
list:
list: float32
- name: layer_23
list:
list: float32
- name: layer_24
list:
list: float32
- name: layer_25
list:
list: float32
- name: layer_26
list:
list: float32
- name: layer_27
list:
list: float32
splits:
- name: train
num_bytes: 46281600
num_examples: 400
download_size: 62109195
dataset_size: 46281600
configs:
- config_name: keys
data_files:
- split: train
path: keys/train-*
- config_name: residuals
data_files:
- split: train
path: residuals/train-*
- config_name: values
data_files:
- split: train
path: values/train-*
---

搜集汇总

数据集介绍

构建方式

该数据集基于 Llama-3.2-3B-Instruct 模型在 GSM8K 数学推理任务上的推理过程构建而成，采用对比学习框架提取模型内部表征。具体而言，通过向模型输入 GSM8K 问题并收集其各层的隐藏状态，分别以 keys、values 和 residuals 三种形式存储，每一层对应一个 28 维的浮点向量序列。每个样本包含一个标签（label）用于标识正负样本，从而形成用于对比学习的结构化数据。数据集仅包含训练集，共 400 个样本，每个配置的存储大小从约 46MB 到 137MB 不等。

特点

该数据集的核心特点在于其多层次、多维度的内部状态记录。它提供了模型从第 0 层到第 27 层共计 28 个 Transformer 层的隐藏状态，并以 keys、values 和 residuals 三种配置分别揭示注意力机制中的关键成分与残差连接信息。每个状态均为浮点型张量，其中 keys 和 values 配置呈现为二维列表结构，residuals 配置则为一维列表，这种设计使得研究者能够深入剖析模型内部推理的逐层演化过程。400 个样本的规模虽然精简，但足以支撑对比学习任务中的特征分析。

使用方法

用户可通过 HuggingFace Datasets 库加载该数据集，使用 `load_dataset` 函数并指定配置名称（keys、residuals 或 values）以获取对应类型的数据。每个样本包含一个整数标签和 28 个层的特征向量，可直接用于构建对比学习模型或进行模型内部表征分析。数据以训练集形式提供，适用于监督学习场景中的正负样本区分任务。研究者可结合自身需求，将各层特征拼接或降维后输入下游模型，以探究 Llama-3.2-3B-Instruct 在数学推理中的神经表征机制。

背景与挑战

背景概述

该数据集名为Llama-3.2-3B-Instruct_gsm8k_oai_contrastive，源自Meta于2024年发布的多模态大语言模型Llama 3.2系列中的3B指令微调版本。其创建旨在探索大语言模型在数学推理任务中的内部表征机制，核心研究问题聚焦于如何通过对比学习解析模型各层的隐藏状态分布。数据集依托GSM8K数学问题集，通过OpenAI的对比方法提取模型在处理正确与错误推理路径时的中间层激活值，包含keys、residuals和values三个子配置，分别对应不同注意力组件。该数据集的发布为理解大语言模型的推理过程提供了微观视角，推动了可解释人工智能领域在数学逻辑领域的实证研究发展。

当前挑战

当前面临的主要挑战包括：其一，该数据集专注于数学推理场景下的正确与错误对比，但仅基于单一模型（Llama-3.2-3B-Instruct）和单一任务（GSM8K），其泛化能力有待验证，难以直接迁移至其他领域或更大规模模型；其二，构建过程中需处理28层隐藏状态的浮点向量，数据维度达400个样本×27层×动态维度，存在高维稀疏性与存储噪声问题，尤其residuals配置的残差向量平均每个样本占用344KB，对数据清洗与特征对齐技术提出较高要求；其三，对比标签的生成依赖外部模型（如OpenAI API），引入了标注偏差与成本约束，限制了数据集的规模化扩展与复现性。

常用场景

经典使用场景

在大型语言模型的可解释性与内部机制研究领域，Llama-3.2-3B-Instruct_gsm8k_oai_contrastive数据集扮演着不可或缺的角色。该数据集基于Meta推出的Llama-3.2-3B-Instruct模型在GSM8K数学推理任务上的推理轨迹构建，通过对比学习策略收集了模型各层的隐藏状态激活。研究者可借助这些分层激活值，深入探索模型在解决数学问题时内部表示的演变规律，为理解Transformer架构中知识如何从输入层向输出层流动提供宝贵素材。其经典用途聚焦于解析模型在推理过程中的决策逻辑，尤其适用于神经符号推理与机制可解释性研究。

实际应用

在实际应用层面，该数据集为构建更安全、更可靠的大语言模型系统提供了直接支撑。模型开发者可通过分析数据集中不同层次的激活模式，识别并校正模型在数学推理中的错误倾向，从而优化指令微调策略。此外，基于对比学习收集的隐藏状态，可用于开发轻量级的模型监控工具，实时检测生成内容中的逻辑矛盾与知识偏差。这些技术最终服务于教育辅助、自动解题系统及金融分析等高精度领域，确保模型输出不仅准确而且过程可审计、可追溯。

衍生相关工作

围绕Llama-3.2-3B-Instruct_gsm8k_oai_contrastive数据集，一系列创新性工作应运而生。最典型的衍生研究方向包括：基于多层表示的推理路径探针（Probing）设计，用于定位模型在哪个语义层级捕获了关键数值关系；对比激活差异驱动的模型编辑技术，通过调控特定层特征来修正错误推理模式；以及将隐藏状态可视化以辅助理解长链条数学思维过程的工具。这些工作不仅深化了对Llama系列模型内部构造的认知，更为跨模型、跨任务的机制可比性分析铺平了道路，推动了大模型科学评估体系的演进。