datajuicer/the-pile-nih-refined-by-data-juicer

该数据集是The Pile中NIHExPorter数据集的精炼版本，通过Data-Juicer工具去除了原始数据集中的一些低质量样本，以提高数据集的质量。数据集通常用于预训练大型语言模型。数据集的样本数量为858,492个，保留了原始数据集的约91.36%。

原始信息汇总

数据集概述

数据集名称

The Pile -- NIHExPorter (refined by Data-Juicer)

数据集描述

这是一个由Data-Juicer精炼的NIHExPorter数据集版本，去除了原始数据集中的一些“不良”样本，以提高数据质量。该数据集通常用于预训练大型语言模型。

数据集信息

• 样本数量: 858,492（保留了原始数据集的约91.36%）

数据集处理流程

全局参数

• 项目名称: Data-Juicer-recipes-Hin
• 数据集路径: /path/to/your/dataset
• 导出路径: /path/to/your/dataset.jsonl
• 子进程数量: 50
• 开启追踪: true

处理步骤

1. 清理电子邮件: clean_email_mapper
2. 清理链接: clean_links_mapper
3. 修复Unicode: fix_unicode_mapper
4. 标点符号规范化: punctuation_normalization_mapper
5. 空白规范化: whitespace_normalization_mapper
6. 字母数字过滤:
   • 是否分词: false
   • 最小比例: 0.75
   • 最大比例: 0.866
7. 平均行长度过滤:
   • 最大长度: 10000
8. 字符重复过滤:
   • 重复长度: 10
   • 最大比例: 0.2
9. 标记词过滤:
   • 语言: en
   • 是否分词: true
   • 最大比例: 0.0003
10. 语言ID分数过滤:
    • 最小分数: 0.7
11. 困惑度过滤:
    • 语言: en
    • 最大困惑度: 1669
12. 特殊字符过滤:
    • 最大比例: 0.3
13. 单词数量过滤:
    • 是否分词: true
    • 最小数量: 20
    • 最大数量: 2000
14. 单词重复过滤:
    • 语言: en
    • 是否分词: true
    • 重复长度: 10
    • 最大比例: 0.104
15. 文档相似哈希去重:
    • 分词方式: space
    • 窗口大小: 6
    • 小写转换: true
    • 忽略模式: p{P}
    • 块数量: 6
    • 汉明距离: 4