EleutherAI/pile-preshuffled-seeds
收藏Hugging Face2026-02-12 更新2025-04-08 收录
下载链接：
https://hf-mirror.com/datasets/EleutherAI/pile-preshuffled-seeds
下载链接
链接失效反馈官方服务：
资源简介：
这是一个内存映射的Pile数据集的idx文件集合，用于通过MMapIndexedDataset进行数据加载。这些文件可以按照Pythia GitHub仓库中README.md文件的指导进行加载，并在dataset.py中提供了加载示例。
This is a collection of idx files for the memory-mapped Pile dataset used with the MMapIndexedDataset for data loading. These files can be loaded according to the instructions in the README.md file in the Pythia GitHub repository, with an example provided in the dataset.py.
提供机构：
EleutherAI
