ola13/small-oscar-dedup

---
dataset_info:
features:
- name: id
dtype: int64
- name: text
dtype: string
- name: url
dtype: string
- name: domain
dtype: string
- name: perplexity
dtype: float64
- name: dup_ratio
dtype: float64
- name: pairs
sequence:
sequence: int64
- name: repetitions
sequence: binary
- name: cluster
sequence:
sequence: int64
splits:
- name: train
num_bytes: 323557137
num_examples: 43200
download_size: 0
dataset_size: 323557137
---
# Dataset Card for "small-oscar-dedup"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
数据集信息：
特征：
- 名称：id，数据类型：int64
- 名称：text，数据类型：string
- 名称：url，数据类型：string
- 名称：domain，数据类型：string
- 名称：困惑度（perplexity），数据类型：float64
- 名称：重复率（dup_ratio），数据类型：float64
- 名称：pairs：序列类型，其元素为int64类型的序列
- 名称：repetitions：序列类型，元素为binary（二进制）值
- 名称：cluster：序列类型，其元素为int64类型的序列
数据集划分：
- 名称：train，字节数：323557137，样本数量：43200
下载大小：0
数据集总大小：323557137
---
# “small-oscar-dedup”数据集卡片
[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: small-oscar-dedup

数据集特征

• id: 整数类型 (int64)
• text: 字符串类型 (string)
• url: 字符串类型 (string)
• domain: 字符串类型 (string)
• perplexity: 浮点数类型 (float64)
• dup_ratio: 浮点数类型 (float64)
• pairs: 序列类型，序列元素为整数 (int64)
• repetitions: 序列类型，二进制 (binary)
• cluster: 序列类型，序列元素为整数 (int64)

数据集分割

• 训练集 (train):
  • 样本数量: 43200
  • 数据大小: 323557137 字节

数据集大小

• 总大小: 323557137 字节
• 下载大小: 0 字节