got-activations-llama3.1-405b-base

GoT Activations — Llama 3.1 405B (Base) 数据集包含来自 meta-llama/Llama-3.1-405B 基础模型的完整序列激活数据，这些数据基于 7,660 条 Geometry of Truth 语句生成。激活数据维度为 126 层 × 16384 维，数据类型为 float16，通过 NDIF（nnsight remote backend）提取，仅包含原始语句（无聊天模板）。数据集还包括每个令牌的困惑度元数据。数据集内容分为两部分：索引文件（包含提示文本、标签、元数据、困惑度统计和分片指针）和激活张量文件（包含 126 层的激活数据分片）。数据集包含多个子集，如 cities、neg_cities、sp_en_trans 等，每个子集的数量在 README 中有详细统计。该数据集适用于特征提取、语言模型探测和机制解释等任务。