redpajama-c4-refined-by-data-juicer
收藏魔搭社区2026-01-06 更新2024-05-15 收录
下载链接：
https://modelscope.cn/datasets/Data-Juicer/redpajama-c4-refined-by-data-juicer
下载链接
链接失效反馈官方服务：
资源简介：
A refined version of C4 dataset in RedPajama by Data-Juicer. Removing some "bad" samples from the original dataset to make it higher-quality. This dataset is usually used to pretrain a Large Language Model.
本数据集为Data-Juicer基于RedPajama项目打造的C4数据集（C4 dataset）精炼版本。其通过移除原始数据集中的部分劣质样本，有效提升了整体数据质量，通常被应用于大语言模型（Large Language Model，LLM）的预训练任务。
提供机构：
maas
创建时间：
2023-08-02
