the-pile-philpaper-refined-by-data-juicer

A refined version of PhilPaper dataset in The Pile by Data-Juicer. Removing some "bad" samples from the original dataset to make it higher-quality. This dataset is usually used to pretrain a Large Language Model.

本数据集为Data-Juicer针对收录于The Pile中的PhilPaper数据集（PhilPaper dataset）优化得到的精炼版本。该版本通过剔除原始数据集中的部分低质量坏样本，有效提升了数据集整体品质。此数据集通常被用于大语言模型（Large Language Model，LLM）的预训练任务。

搜集汇总

背景与挑战

背景概述

该数据集是The Pile中PhilPaper数据集的精炼版本，通过Data-Juicer移除低质量样本以提升数据质量，适用于大语言模型预训练，包含约2.9万个样本，保留了原数据88.82%的内容。