EleutherAI/rpj-v2-sample
收藏Hugging Face2024-07-26 更新2024-12-14 收录
下载链接：
https://hf-mirror.com/datasets/EleutherAI/rpj-v2-sample
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是RedPajama-Data-V2的一个子集sample-10B的镜像，重新上传以解决原始下载脚本的问题。RedPajama-V2是一个用于训练大型语言模型的开放数据集，包含来自84个CommonCrawl快照的超过100B文本文档，并使用CCNet管道进行处理。其中，30B文档带有质量信号，还提供了重复文档的ID，可用于创建包含20B去重文档的数据集。
RedPajama-V2 is an open dataset for training large language models, containing over 100 billion text documents sourced from 84 CommonCrawl snapshots processed using the CCNet pipeline. The dataset includes 30 billion documents with quality signals, and provides IDs of duplicated documents, which can be used to create a dataset with 20 billion deduplicated documents.
提供机构：
EleutherAI
