Pile Uncopyrighted Dataset

该数据集是从Pile非版权数据集中随机选取的一个子集，用于训练稀疏自编码器，以评估Matryoshka SAEs和TopK SAEs的性能。该数据集包含非版权文本，在语言表示和建模的背景下用于训练模型。其规模达到5000万个标记，所涉及的任务是语言建模。