xwjiang2010/pile_dedupe_train

--- configs: - config_name: default data_files: - split: train path: data/train-* dataset_info: features: - name: text dtype: string splits: - name: train num_bytes: 88191974579 num_examples: 15000000 download_size: 20794320583 dataset_size: 88191974579 --- # Dataset Card for "pile_dedupe_train" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)--- 配置项： - 配置名称：default（默认） 数据文件： - 划分集：train（训练集） 文件路径：data/train-* 数据集信息： 特征： - 名称：text 数据类型：string（字符串） 划分集： - 名称：train（训练集） 总字节数：88191974579 样本数量：15000000 下载大小：20794320583 数据集总大小：88191974579 --- # 「pile_dedupe_train」数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集卡片 "pile_dedupe_train"

配置

• 配置名称: default
  • 数据文件:
    • 分割: train
    • 路径: data/train-*

数据集信息

• 特征:
  • 名称: text
  • 数据类型: string
• 分割:
  • 名称: train
  • 字节数: 88191974579
  • 样本数: 15000000
• 下载大小: 20794320583
• 数据集大小: 88191974579