Pile-small-tokenized-2B
收藏arXiv2025-09-30 收录
下载链接：
https://huggingface.co/datasets/NeelNanda/pile-small-tokenized-2b
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是对Pile数据集进行了预分词处理的版本，其上下文大小设置为1024。此外，该数据集被用于在Pythia-160M模型的残差流上训练稀疏自编码器（SAEs）。其规模达到了20亿个标记。任务的目的是训练稀疏自编码器（SAEs）。
This dataset is a pre-tokenized version of the Pile dataset, with a context window size set to 1024. Additionally, it is utilized to train sparse autoencoders (SAEs) on the residual streams of the Pythia-160M model. It contains a total of 2 billion tokens, and the objective of the associated task is to train sparse autoencoders (SAEs).
提供机构：
Hugging Face
