RedPajama-Data-V2

RedPajama-V2旨在为大型语言模型训练提供开放的数据资源，它包含超过1000亿个文本文件，这些文件来自84个CommonCrawl快照，并经过CCNet流程处理。其中，300亿个文档附带质量信号，同时提供重复文档的ID，可用于创建包含200亿个去重文档的数据集。该数据集支持多种语言，包括英语、德语、法语、西班牙语和意大利语，并提供多种质量注释，例如CCNet的困惑度、ML启发式方法和自然语言特征等。RedPajama-V2提供标准化数据操作，方便用户下载原始数据集、应用过滤规则，并进行文本生成等任务。该数据集基于Common Crawl Foundation的使用条款，加载和处理数据集的代码采用Apache 2.0许可。