the-pile-nih-refined-by-data-juicer
收藏魔搭社区2025-11-14 更新2024-05-15 收录
下载链接：
https://modelscope.cn/datasets/Data-Juicer/the-pile-nih-refined-by-data-juicer
下载链接
链接失效反馈官方服务：
资源简介：
A refined version of NIHExPorter dataset in The Pile by Data-Juicer. Removing some "bad" samples from the original dataset to make it higher-quality. This dataset is usually used to pretrain a Large Language Model.
由Data-Juicer整理得到的、收录于The Pile语料库的NIHExPorter数据集（NIHExPorter dataset）精炼版本，通过剔除原始数据集中部分低质量样本以优化整体数据质量。该数据集通常用于大语言模型（Large Language Model）的预训练。
提供机构：
maas
创建时间：
2023-08-01
