neuralblog/llama3-8b-mlp-neurons

该数据集包含超过1400万个文本片段，这些片段强烈激活了llama3-8B模型中的MLP神经元。这些片段是从FineWeb-Edu数据集中采样的。数据集由两个主要文件组成：`token.npy`和`act.npy`，它们的数组大小为`[num_layer, num_neuron, top_k, seq_len]`，其中`num_layer`为32，`num_neuron`为14336，`top_k`为32，`seq_len`为64。

原始信息汇总

数据集概述

数据集描述

• 名称: llama3-8b-mlp-neurons
• 标签: llama3, mlp, neuron
• 语言: 英语
• 许可证: MIT

数据内容

• 大小: 超过1400万个文本片段
• 来源: 从FineWeb-Edu数据集中采样
• 目的: 这些文本片段强烈激活llama3-8B模型中的MLP神经元

数据结构

• 文件: token.npy 和 act.npy
• 维度: [num_layer, num_neuron, top_k, seq_len]
  • num_layer: 32
  • num_neuron: 14336
  • top_k: 32
  • seq_len: 64

加载示例

python import numpy as np

act = np.load("act.npy") token = np.load("token.npy")

获取第5层第123神经元的前10个高激活片段

t = token[5, 123, :10, :]

对应的神经元激活值

a = act[5, 123, :10, :]

解码为文本

from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3-8B") text = tokenizer.decode(t[0])