LieUr/Llama-3.2-3B-Instruct_arc_oai_contrastive

---
dataset_info:
- config_name: keys
features:
- name: label
dtype: int64
- name: layer_0
list:
list: float32
- name: layer_1
list:
list: float32
- name: layer_2
list:
list: float32
- name: layer_3
list:
list: float32
- name: layer_4
list:
list: float32
- name: layer_5
list:
list: float32
- name: layer_6
list:
list: float32
- name: layer_7
list:
list: float32
- name: layer_8
list:
list: float32
- name: layer_9
list:
list: float32
- name: layer_10
list:
list: float32
- name: layer_11
list:
list: float32
- name: layer_12
list:
list: float32
- name: layer_13
list:
list: float32
- name: layer_14
list:
list: float32
- name: layer_15
list:
list: float32
- name: layer_16
list:
list: float32
- name: layer_17
list:
list: float32
- name: layer_18
list:
list: float32
- name: layer_19
list:
list: float32
- name: layer_20
list:
list: float32
- name: layer_21
list:
list: float32
- name: layer_22
list:
list: float32
- name: layer_23
list:
list: float32
- name: layer_24
list:
list: float32
- name: layer_25
list:
list: float32
- name: layer_26
list:
list: float32
- name: layer_27
list:
list: float32
splits:
- name: train
num_bytes: 46281600
num_examples: 400
download_size: 60207558
dataset_size: 46281600
- config_name: residuals
features:
- name: label
dtype: int64
- name: layer_0
list: float32
- name: layer_1
list: float32
- name: layer_2
list: float32
- name: layer_3
list: float32
- name: layer_4
list: float32
- name: layer_5
list: float32
- name: layer_6
list: float32
- name: layer_7
list: float32
- name: layer_8
list: float32
- name: layer_9
list: float32
- name: layer_10
list: float32
- name: layer_11
list: float32
- name: layer_12
list: float32
- name: layer_13
list: float32
- name: layer_14
list: float32
- name: layer_15
list: float32
- name: layer_16
list: float32
- name: layer_17
list: float32
- name: layer_18
list: float32
- name: layer_19
list: float32
- name: layer_20
list: float32
- name: layer_21
list: float32
- name: layer_22
list: float32
- name: layer_23
list: float32
- name: layer_24
list: float32
- name: layer_25
list: float32
- name: layer_26
list: float32
- name: layer_27
list: float32
splits:
- name: train
num_bytes: 137673600
num_examples: 400
download_size: 170520794
dataset_size: 137673600
- config_name: values
features:
- name: label
dtype: int64
- name: layer_0
list:
list: float32
- name: layer_1
list:
list: float32
- name: layer_2
list:
list: float32
- name: layer_3
list:
list: float32
- name: layer_4
list:
list: float32
- name: layer_5
list:
list: float32
- name: layer_6
list:
list: float32
- name: layer_7
list:
list: float32
- name: layer_8
list:
list: float32
- name: layer_9
list:
list: float32
- name: layer_10
list:
list: float32
- name: layer_11
list:
list: float32
- name: layer_12
list:
list: float32
- name: layer_13
list:
list: float32
- name: layer_14
list:
list: float32
- name: layer_15
list:
list: float32
- name: layer_16
list:
list: float32
- name: layer_17
list:
list: float32
- name: layer_18
list:
list: float32
- name: layer_19
list:
list: float32
- name: layer_20
list:
list: float32
- name: layer_21
list:
list: float32
- name: layer_22
list:
list: float32
- name: layer_23
list:
list: float32
- name: layer_24
list:
list: float32
- name: layer_25
list:
list: float32
- name: layer_26
list:
list: float32
- name: layer_27
list:
list: float32
splits:
- name: train
num_bytes: 46281600
num_examples: 400
download_size: 62035649
dataset_size: 46281600
configs:
- config_name: keys
data_files:
- split: train
path: keys/train-*
- config_name: residuals
data_files:
- split: train
path: residuals/train-*
- config_name: values
data_files:
- split: train
path: values/train-*
---

搜集汇总

数据集介绍

构建方式

该数据集基于Llama-3.2-3B-Instruct模型在ARC（AI2 Reasoning Challenge）OAI（OpenAI）数据集上的推理过程构建。通过对比学习框架，提取了模型在多个Transformer层中的隐藏状态，形成三种配置：'keys'和'values'配置保留了每层中所有注意力头的键和值向量，数据以嵌套列表形式存储；'residuals'配置则记录了每层的残差流输出，数据以单层浮点列表呈现。每个配置包含400个训练样本，对应ARC挑战中的不同推理问题，每个样本均带有标签信息。

特点

数据集的突出特点在于其多层次、多维度的内部表征捕获能力。它完整记录了Llama-3.2-3B-Instruct模型从第0层到第27层共28个Transformer层的激活状态，为研究模型推理机制提供了细粒度的神经活动快照。'keys'、'values'和'residuals'三种配置分别从不同角度揭示了模型的信息处理路径：键值对反映了注意力机制中的查询-匹配过程，而残差流则展现了层间信息传递的累积效应。这种设计使得研究者能够深入分析模型在解决复杂推理任务时的计算动力学。

使用方法

使用该数据集时，可通过HuggingFace Datasets库加载指定配置，例如使用load_dataset('Llama-3.2-3B-Instruct_arc_oai_contrastive', 'keys')获取注意力键值数据。每个样本包含label字段（表示推理问题的类别）和layer_0至layer_27共28个字段，分别对应各层的激活向量。对于'keys'和'values'配置，每个layer字段是一个二维浮点矩阵，形状为（注意力头数×头维度）；'residuals'配置则为一维浮点向量。研究者可基于这些激活表征进行对比分析、探针分类或可视化等下游任务。

背景与挑战

背景概述

Llama-3.2-3B-Instruct_arc_oai_contrastive数据集由Meta团队基于LLaMA-3.2-3B-Instruct模型构建，旨在探索大规模语言模型内部表示的可解释性。该数据集以ARC（Abstraction and Reasoning Corpus）挑战中的抽象推理任务为背景，通过对比学习范式提取模型各层的激活值、残差和注意力键值对，为理解语言模型在抽象推理过程中的神经表征提供了高维视角。自发布以来，该数据集成为连接认知科学、人工智能可解释性与大语言模型研究的关键桥梁，尤其在神经符号推理与模型透明度领域产生了深远影响。

当前挑战

该数据集面临的核心挑战在于如何从高维、跨层的模型激活中解析出与抽象推理直接相关的语义特征。领域层面，ARC任务要求模型具备超越模式匹配的泛化能力，而当前语言模型往往依赖统计关联而非因果推理，这导致训练集（仅400样本）的稀疏性难以覆盖多样化的抽象规则。构建过程中，从28层Transformer中提取稠密激活矩阵时面临维度灾难，且对比学习标签的自动生成需平衡样本相似度与任务目标，如何保证负样本对不引入虚假相关性成为关键瓶颈。

常用场景

经典使用场景

在大型语言模型的解释性研究领域，Llama-3.2-3B-Instruct_arc_oai_contrastive数据集为探究模型内部表示机制提供了宝贵资源。该数据集收录了LLaMA-3.2-3B-Instruct模型对ARC（AI2 Reasoning Challenge）科学问题推理时，各层神经元的隐藏状态激活模式，涵盖keys、residuals和values三种配置，分别对应注意力机制中的键、残差流和值向量。研究者可借此分析模型在常识推理任务中的计算轨迹，尤其是层与层之间的信息传递与变换过程，从而揭示语言模型如何进行复杂的多步推理。

解决学术问题

该数据集精准回应了当前大模型可解释性研究的核心难题：如何量化和可视化模型内部的推理逻辑。通过提供细粒度的层间激活数据，它帮助学者验证或挑战关于模型推理能力的假设，例如是否高层语义特征来源于低层特征的组合，以及注意力头在知识检索中的具体作用。这些数据支撑了关于模型鲁棒性、偏见传播以及知识存储位置等议题的实证研究，推动了从黑箱评估向机制理解的范式转变。

衍生相关工作

围绕该数据集已衍生出多项代表性工作。例如，有研究基于其residuals配置，提出对比表示学习方法，通过检索相似推理路径提升模型在复杂科学问题上的泛化能力。另有工作利用keys和values配置，训练线性探针以解码模型所关注的知识本体，进而构建可解释的推理图谱。这些成果不仅深化了对模型计算的理解，也为后续的模型压缩与知识蒸馏技术提供了理论支撑。