redpajama-cc-2023-06-refined-by-data-juicer
收藏魔搭社区2026-01-09 更新2024-05-15 收录
下载链接：
https://modelscope.cn/datasets/Data-Juicer/redpajama-cc-2023-06-refined-by-data-juicer
下载链接
链接失效反馈官方服务：
资源简介：
A refined version of CommonCrawl-2023-06 dataset in RedPajama by Data-Juicer. Removing some "bad" samples from the original dataset to make it higher-quality. This dataset is usually used to pretrain a Large Language Model.
该数据集是Data-Juicer开发的RedPajama套件中CommonCrawl-2023-06数据集的精炼版本。其通过剔除原始数据集中部分劣质样本以提升整体数据质量。该数据集通常用于大语言模型（Large Language Model）的预训练。
提供机构：
maas
创建时间：
2023-08-01
搜集汇总
数据集介绍
背景与挑战
背景概述
该数据集是RedPajama中CommonCrawl-2023-06数据集的精炼版本，通过Data-Juicer工具移除了原始数据中的低质量样本，以提升整体质量。它包含约5064万条样本，保留了原数据的45.46%，主要用于大语言模型的预训练，完整数据集大小约为310GB。
以上内容由遇见数据集搜集并总结生成
