EleutherAI/dclm-dedup-25B
收藏Hugging Face2025-02-06 更新2025-02-15 收录
下载链接：
https://hf-mirror.com/datasets/EleutherAI/dclm-dedup-25B
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含了多个字段，如fasttext分数、唯一标识符、语言类型、语言分数、文本内容、URL链接和Nemo ID。数据集被划分为训练集，其大小为111,099,711,518字节，共有20,462,594个样本。此外，该数据集的前25,000,003,108个token是使用NeoX tokenizer进行tokenization的。
The dataset includes multiple fields such as fasttext score, unique identifier, language type, language score, text content, URL link, and Nemo ID. The dataset is split into a training set, which is 111,099,711,518 bytes in size and contains 20,462,594 samples. Additionally, the first 25,000,003,108 tokens of the dataset are tokenized using the NeoX tokenizer.
提供机构：
EleutherAI
