Confirm-Labs/pythia-12b-neuron-dataset-examples
收藏Hugging Face2023-08-16 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/Confirm-Labs/pythia-12b-neuron-dataset-examples
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含了Pythia-12b模型中每个MLP神经元激活度最高的64个数据集示例。每个示例由16个标记组成。数据集的列包括层、神经元索引、示例的排名、神经元的激活度、最大激活的标记位置、示例文本以及每个位置的标记ID。
提供机构：
Confirm-Labs
原始信息汇总
pythia-12b-neuron-dataset-examples
数据集描述
该数据集包含Pythia-12b模型中每个MLP神经元的64个最高激活数据示例。每个示例长度为16个token。
数据集列信息
layer: 神经元所在的层neuron: 神经元的索引rank: 示例的排名activation: 神经元在示例上的激活值position: 神经元最大激活的token位置text: 示例的文本内容:tokenizer.decode(ids[:, :position+1])id#: 位置#处的token ID，范围从0到15
