bertram-gilfoyle/CC-MAIN-2023-50

---
dataset_info:
- config_name: filtered
features:
- name: text
dtype: string
- name: id
dtype: string
splits:
- name: train
num_bytes: 8777587297.907892
num_examples: 1949895
download_size: 4461401898
dataset_size: 8777587297.907892
- config_name: dedup
features:
- name: text
dtype: string
- name: id
dtype: string
splits:
- name: train
num_bytes: 8777587297.907892
num_examples: 1949895
download_size: 4461401898
dataset_size: 8777587297.907892
- config_name: ppl
features:
- name: text
dtype: string
- name: id
dtype: string
splits:
- name: train
num_bytes: 8777587297.907892
num_examples: 1949895
download_size: 4461401898
dataset_size: 8777587297.907892
configs:
- config_name: filtered
data_files:
- split: train
path: filtered/train-*
- config_name: dedup
data_files:
- split: train
path: dedup/train-*
- config_name: ppl
data_files:
- split: train
path: ppl/train-*
license: apache-2.0
language:
- en
tags:
- synthetic
---

原始信息汇总

数据集概述

数据集配置

• 配置名称: filtered

  • 特征:
    • 名称: text
      • 数据类型: string
    • 名称: id
      • 数据类型: string
  • 分割:
    • 名称: train
      • 字节数: 8777587297.907892
      • 样本数: 1949895
  • 下载大小: 4461401898
  • 数据集大小: 8777587297.907892

• 配置名称: dedup

  • 特征:
    • 名称: text
      • 数据类型: string
    • 名称: id
      • 数据类型: string
  • 分割:
    • 名称: train
      • 字节数: 8777587297.907892
      • 样本数: 1949895
  • 下载大小: 4461401898
  • 数据集大小: 8777587297.907892

• 配置名称: ppl

  • 特征:
    • 名称: text
      • 数据类型: string
    • 名称: id
      • 数据类型: string
  • 分割:
    • 名称: train
      • 字节数: 8777587297.907892
      • 样本数: 1949895
  • 下载大小: 4461401898
  • 数据集大小: 8777587297.907892

数据文件路径

• 配置名称: filtered

  • 分割: train
    • 路径: filtered/train-*

• 配置名称: dedup

  • 分割: train
    • 路径: dedup/train-*

• 配置名称: ppl

  • 分割: train
    • 路径: ppl/train-*

其他信息

• 许可证: apache-2.0
• 语言: en
• 标签: synthetic