the-pile-pubmed-abstracts-refined-by-data-juicer

A refined version of PubMed Abstracts dataset in The Pile by Data-Juicer. Removing some "bad" samples from the original dataset to make it higher-quality. This dataset is usually used to pretrain a Large Language Model.

本数据集是Data-Juicer团队对《The Pile》语料库中的PubMed摘要数据集（PubMed Abstracts Dataset）进行精炼后得到的版本。该数据集通过移除原始数据集中部分低质量样本，以提升整体数据质量。其通常被用于大语言模型（Large Language Model）的预训练任务。

搜集汇总

背景与挑战

背景概述

该数据集是The Pile中PubMed Abstracts数据集的精炼版本，由Data-Juicer通过移除低质量样本以提高数据质量，通常用于大语言模型的预训练。它包含约371,331个样本，保留了原始数据约99.55%的内容，并应用了多种过滤和清理操作。