redpajama-pile-stackexchange-refined-by-data-juicer

A refined version of StackExchange dataset in RedPajama & The Pile by Data-Juicer. Removing some "bad" samples from the original merged dataset to make it higher-quality. This dataset is usually used to pretrain a Large Language Model.

由Data-Juicer对RedPajama与The Pile中的StackExchange数据集（StackExchange Dataset）进行精炼得到的版本。该版本通过移除原始合并数据集中的部分"bad"样本，以提升数据集整体质量。此数据集通常用于大语言模型（Large Language Model，LLM）的预训练。

搜集汇总

背景与挑战

背景概述

该数据集是RedPajama & The Pile中StackExchange数据集的精炼版本，通过Data-Juicer工具去除低质量样本以提升整体质量，主要用于大型语言模型的预训练。它包含约2630万个样本，保留了原数据集的57.89%。