tomg-group-umd/gemstones_data_order_sequential
收藏Hugging Face2025-07-02 更新2025-07-05 收录
下载链接：
https://hf-mirror.com/datasets/tomg-group-umd/gemstones_data_order_sequential
下载链接
链接失效反馈官方服务：
资源简介：
宝石训练数据集 - 顺序版本。这是一个基于 Dolma v1.7 数据集的前 1B 行的重新处理版本，使用 Pythia tokenizer 进行编码。数据集以顺序分片格式存储，模拟了在单个 GPU 上训练时的数据读取顺序。数据集采用 odc-by 许可证。
Gemstones Training Dataset - Sequential version. This is a reprocessed version of the first 1B rows of the Dolma v1.7 dataset, encoded using the Pythia tokenizer. The dataset is stored in a sequential sharding format, simulating the data reading order during training on a single GPU. The dataset is licensed under odc-by.
提供机构：
tomg-group-umd
