chanind/pile-uncopyrighted-gemma-1024-abbrv-1B
收藏Hugging Face2025-02-12 更新2025-02-15 收录
下载链接：
https://hf-mirror.com/datasets/chanind/pile-uncopyrighted-gemma-1024-abbrv-1B
下载链接
链接失效反馈官方服务：
资源简介：
这是一个预token化的数据集，包含了monology/pile-uncopyrighted数据集的前100万行，使用SAELens进行tokenization，适用于Gemma-2模型。该数据集具有1024的上下文大小，总共包含大约15亿个token。
This is a pre-tokenized dataset consisting of the first 1 million lines from the monology/pile-uncopyrighted dataset, tokenized using SAELens for the Gemma-2 model. The dataset has a context size of 1024 and contains approximately 1.5 billion tokens.
提供机构：
chanind
