LieUr/Llama-3.2-3B-Instruct_piqa_oai_contrastive

Name: LieUr/Llama-3.2-3B-Instruct_piqa_oai_contrastive
Creator: LieUr
Published: 2026-04-30 17:56:22
License: 暂无描述

Hugging Face2026-04-30 更新2026-05-03 收录

下载链接：

https://hf-mirror.com/datasets/LieUr/Llama-3.2-3B-Instruct_piqa_oai_contrastive

下载链接

链接失效反馈

官方服务：

资源简介：

--- dataset_info: - config_name: keys features: - name: label dtype: int64 - name: layer_0 list: list: float32 - name: layer_1 list: list: float32 - name: layer_2 list: list: float32 - name: layer_3 list: list: float32 - name: layer_4 list: list: float32 - name: layer_5 list: list: float32 - name: layer_6 list: list: float32 - name: layer_7 list: list: float32 - name: layer_8 list: list: float32 - name: layer_9 list: list: float32 - name: layer_10 list: list: float32 - name: layer_11 list: list: float32 - name: layer_12 list: list: float32 - name: layer_13 list: list: float32 - name: layer_14 list: list: float32 - name: layer_15 list: list: float32 - name: layer_16 list: list: float32 - name: layer_17 list: list: float32 - name: layer_18 list: list: float32 - name: layer_19 list: list: float32 - name: layer_20 list: list: float32 - name: layer_21 list: list: float32 - name: layer_22 list: list: float32 - name: layer_23 list: list: float32 - name: layer_24 list: list: float32 - name: layer_25 list: list: float32 - name: layer_26 list: list: float32 - name: layer_27 list: list: float32 splits: - name: train num_bytes: 46281600 num_examples: 400 download_size: 60262962 dataset_size: 46281600 - config_name: residuals features: - name: label dtype: int64 - name: layer_0 list: float32 - name: layer_1 list: float32 - name: layer_2 list: float32 - name: layer_3 list: float32 - name: layer_4 list: float32 - name: layer_5 list: float32 - name: layer_6 list: float32 - name: layer_7 list: float32 - name: layer_8 list: float32 - name: layer_9 list: float32 - name: layer_10 list: float32 - name: layer_11 list: float32 - name: layer_12 list: float32 - name: layer_13 list: float32 - name: layer_14 list: float32 - name: layer_15 list: float32 - name: layer_16 list: float32 - name: layer_17 list: float32 - name: layer_18 list: float32 - name: layer_19 list: float32 - name: layer_20 list: float32 - name: layer_21 list: float32 - name: layer_22 list: float32 - name: layer_23 list: float32 - name: layer_24 list: float32 - name: layer_25 list: float32 - name: layer_26 list: float32 - name: layer_27 list: float32 splits: - name: train num_bytes: 137673600 num_examples: 400 download_size: 170521247 dataset_size: 137673600 - config_name: values features: - name: label dtype: int64 - name: layer_0 list: list: float32 - name: layer_1 list: list: float32 - name: layer_2 list: list: float32 - name: layer_3 list: list: float32 - name: layer_4 list: list: float32 - name: layer_5 list: list: float32 - name: layer_6 list: list: float32 - name: layer_7 list: list: float32 - name: layer_8 list: list: float32 - name: layer_9 list: list: float32 - name: layer_10 list: list: float32 - name: layer_11 list: list: float32 - name: layer_12 list: list: float32 - name: layer_13 list: list: float32 - name: layer_14 list: list: float32 - name: layer_15 list: list: float32 - name: layer_16 list: list: float32 - name: layer_17 list: list: float32 - name: layer_18 list: list: float32 - name: layer_19 list: list: float32 - name: layer_20 list: list: float32 - name: layer_21 list: list: float32 - name: layer_22 list: list: float32 - name: layer_23 list: list: float32 - name: layer_24 list: list: float32 - name: layer_25 list: list: float32 - name: layer_26 list: list: float32 - name: layer_27 list: list: float32 splits: - name: train num_bytes: 46281600 num_examples: 400 download_size: 62160331 dataset_size: 46281600 configs: - config_name: keys data_files: - split: train path: keys/train-* - config_name: residuals data_files: - split: train path: residuals/train-* - config_name: values data_files: - split: train path: values/train-* ---

提供机构：

LieUr

搜集汇总

数据集介绍

构建方式

该数据集基于Piqa基准任务，利用Llama-3.2-3B-Instruct模型在对比学习框架下进行构建。具体而言，通过OpenAI提出的对比学习方法，对模型各隐藏层的激活状态进行采集，分别以keys、residuals和values三种配置呈现。每个配置包含从第0层至第27层共28个层的表示向量，其中keys和values为二维列表格式，residuals为一维浮点向量。数据规模为400个训练样本，labels字段标注了样本类别。这种多层次的结构化存储方式，旨在为后续研究提供模型内部表征的细粒度分析基础。

特点

数据集的核心特点在于其多层、多视角的神经网络内部状态记录。Keys、residuals和values三种配置分别对应注意力机制中的关键、残差与价值表征，能够全面反映模型在处理Piqa任务时的计算轨迹。400个样本经过精心筛选，确保了标签分布的均衡性。每个样本的28层特征使得研究者可以纵向追踪信息流动与层级抽象过程。此外，数据以float32格式存储，兼顾了精度与存储效率，为机械可解释性分析提供了可靠的高维数据源。

使用方法

使用方式上，推荐通过HuggingFace Datasets库加载该数据集的特定配置（keys、residuals或values），即可直接获取train分片。加载后的数据包含label及28个层级的特征字段，可用于训练分类器、探针分析或可视化模型内部表征。研究者可逐层对比不同配置下的表征差异，或结合Piqa任务情境，探究模型在常识推理中的潜在决策机制。数据预处理无需额外步骤，因其已实现标准化存储，便于直接输入至下游分析流程。

背景与挑战

背景概述

在深度学习与自然语言处理领域，理解预训练语言模型内部表征的演化机制是当前研究的热点之一。Llama-3.2-3B-Instruct_piqa_oai_contrastive数据集由相关研究团队基于Meta的Llama-3.2-3B-Instruct模型构建，旨在通过物理常识推理基准PIQA（Physical Interaction Question Answering）上的对比学习任务，探究模型各层隐藏状态与残差连接中蕴含的语义信息。该数据集的核心研究问题在于如何利用模型内部的层次化特征来提升对物理世界常识的推理能力，从而推动可解释人工智能与模型诊断的发展。通过记录模型在对比学习过程中的层激活与残差输出，该数据集为分析大型语言模型的知识存储形态与推理路径提供了宝贵资源，对后续模型压缩、知识蒸馏及推理优化等方向具有潜在影响力。

当前挑战

该数据集面临的核心挑战在于所解决的领域问题：物理常识推理任务要求模型具备对现实世界因果关系的抽象理解，而现有大型语言模型常因训练数据中的语言偏见而缺乏鲁棒的物理直觉，导致在反事实或模糊场景下的推理失误。构建过程中，数据收集需要从PIQA任务的正确答案与干扰项中生成对比对，确保每个样本的标签能准确反映物理合理性差异；同时，从28层Transformer结构中提取激活值与残差向量涉及海量高维特征，计算成本高昂且易受数值精度影响。此外，数据集规模仅有400个样本，如何在小样本条件下保障表征的泛化性与统计显著性，亦是构建时必须权衡的挑战。

常用场景

经典使用场景

在物理常识推理与语言模型内部表征的交叉研究领域，Llama-3.2-3B-Instruct_piqa_oai_contrastive数据集为探究大规模语言模型（LLM）在物理常识推断任务中的神经激活模式提供了重要资源。该数据集基于PIQA（Physical Interaction Question Answering）基准构建，通过收集Llama-3.2-3B-Instruct模型在对比学习范式下各Transformer层的激活残差（residuals）、键（keys）和值（values）向量，形成跨深层网络的多层次表征集合。研究者可借此解析模型在25个隐藏层中如何编码关于物体物理属性的常识知识，例如判断“如何用纸杯喝水”比“用破碎的纸杯喝水”更合理，从而揭示常识推理的神经计算机制。

衍生相关工作

该数据集的诞生衍生了一系列关于LLM内部机制探测与表征分析的前沿工作。例如，研究者可基于层间残差的变化率，提出‘层级共识度’指标以量化模型决策的稳定性，并设计对抗样本生成算法（如针对特定层级的噪声注入）来测试常识推理的鲁棒性。另有工作利用该数据集的键-值对比结构，训练轻量级预测网络实现‘软归因’，将模型对特定选项的偏好映射至关键神经元激活模式。在模型压缩领域，通过分析各层对物理常识推理的贡献度，研究人员开发了层级剪枝策略，分别保留至关键层并在下游任务中保持95%以上的准确率。

数据集最近研究