xwjiang2010/pile_dedupe_train

---
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
dataset_info:
features:
- name: text
dtype: string
splits:
- name: train
num_bytes: 88191974579
num_examples: 15000000
download_size: 20794320583
dataset_size: 88191974579
---
# Dataset Card for "pile_dedupe_train"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
配置项：
- 配置名称：default（默认）
数据文件：
- 划分集：train（训练集）
文件路径：data/train-*
数据集信息：
特征：
- 名称：text
数据类型：string（字符串）
划分集：
- 名称：train（训练集）
总字节数：88191974579
样本数量：15000000
下载大小：20794320583
数据集总大小：88191974579
---
# 「pile_dedupe_train」数据集卡片
[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集卡片 "pile_dedupe_train"

配置

• 配置名称: default
  • 数据文件:
    • 分割: train
    • 路径: data/train-*

数据集信息

• 特征:
  • 名称: text
  • 数据类型: string
• 分割:
  • 名称: train
  • 字节数: 88191974579
  • 样本数: 15000000
• 下载大小: 20794320583
• 数据集大小: 88191974579