datablations/c4-filter-small

---
dataset_info:
features:
- name: text
dtype: string
- name: timestamp
dtype: string
- name: url
dtype: string
- name: meta
struct:
- name: perplexity_score
dtype: float64
- name: text_length
dtype: int64
- name: domain
dtype: 'null'
- name: perplexity
dtype: float64
- name: dup_ratio
dtype: float64
- name: pairs
sequence:
sequence: int64
- name: repetitions
sequence: binary
- name: cluster
sequence: int64
splits:
- name: train
num_bytes: 236459743
num_examples: 100000
download_size: 140935431
dataset_size: 236459743
---
# Dataset Card for "small-c4"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集特征

• text：文本内容，数据类型为字符串。
• timestamp：时间戳，数据类型为字符串。
• url：网址链接，数据类型为字符串。
• meta：元数据，包含子特征：
  • perplexity_score：困惑度分数，数据类型为浮点数。
• text_length：文本长度，数据类型为整数。
• domain：域名信息，数据类型为空。
• perplexity：困惑度，数据类型为浮点数。
• dup_ratio：重复比例，数据类型为浮点数。
• pairs：序列对，数据类型为整数序列。
• repetitions：重复序列，数据类型为二进制序列。
• cluster：聚类信息，数据类型为整数序列。

数据集分割

• train：训练集，包含100000个样本，总大小为236459743字节。

数据集大小

• 下载大小：140935431字节。
• 数据集总大小：236459743字节。