JamesConley/fineweb-sample-5.97B-512
收藏Hugging Face2025-11-01 更新2025-11-15 收录
下载链接：
https://hf-mirror.com/datasets/JamesConley/fineweb-sample-5.97B-512
下载链接
链接失效反馈官方服务：
资源简介：
FineWeb-Sample-5.97B-512数据集是从FineWeb-Edu数据集中抽取的样本，包含大约59.68亿个token，每个文本样本最多包含512个token。该数据集适用于语言模型的预训练实验和Chinchilla最优缩放实验。它继承自FineWeb-Edu的ODC-By许可证。
The FineWeb-Sample-5.97B-512 dataset is a sample extracted from the FineWeb-Edu dataset, containing approximately 5.97 billion tokens, with each text sample capped at a maximum of 512 tokens. This dataset is designed for language model pretraining experiments and Chinchilla-optimal scaling experiments. It inherits the ODC-By license from FineWeb-Edu.
提供机构：
JamesConley
