RedPajama-Data-1T
收藏OpenCSG2024-07-19 更新2026-01-19 收录
下载链接：
https://opencsg.com/datasets/AIWizards/RedPajama-Data-1T?tab=summary
下载链接
链接失效反馈官方服务：
资源简介：
Red Pajama 1T旨在提供一个完全开源的LLaMa数据集的复现版本，主要用于文本生成任务。数据集包含超过1万亿的token，主要为英文，但也包含多种语言的维基百科数据。数据来源于Commoncrawl、C4、GitHub、ArXiv、Wikipedia和StackExchange等，并经过了诸如段落去重、低质量文本过滤、文件去重、HTML标签移除等预处理步骤。用户可以通过Hugging Face下载或直接下载文件，并提供了SHA256校验和以验证数据完整性。数据集的使用需遵循各个数据子集的授权许可，包括Common Crawl、C4、GitHub、ArXiv、Wikipedia和StackExchange的许可协议。
提供机构：
AIWizards
创建时间：
2024-07-19
