ola13/small-oscar-dedup

--- dataset_info: features: - name: id dtype: int64 - name: text dtype: string - name: url dtype: string - name: domain dtype: string - name: perplexity dtype: float64 - name: dup_ratio dtype: float64 - name: pairs sequence: sequence: int64 - name: repetitions sequence: binary - name: cluster sequence: sequence: int64 splits: - name: train num_bytes: 323557137 num_examples: 43200 download_size: 0 dataset_size: 323557137 --- # Dataset Card for "small-oscar-dedup" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)--- 数据集信息： 特征： - 名称：id，数据类型：int64 - 名称：text，数据类型：string - 名称：url，数据类型：string - 名称：domain，数据类型：string - 名称：困惑度（perplexity），数据类型：float64 - 名称：重复率（dup_ratio），数据类型：float64 - 名称：pairs：序列类型，其元素为int64类型的序列 - 名称：repetitions：序列类型，元素为binary（二进制）值 - 名称：cluster：序列类型，其元素为int64类型的序列 数据集划分： - 名称：train，字节数：323557137，样本数量：43200 下载大小：0 数据集总大小：323557137 --- # “small-oscar-dedup”数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: small-oscar-dedup

数据集特征

• id: 整数类型 (int64)
• text: 字符串类型 (string)
• url: 字符串类型 (string)
• domain: 字符串类型 (string)
• perplexity: 浮点数类型 (float64)
• dup_ratio: 浮点数类型 (float64)
• pairs: 序列类型，序列元素为整数 (int64)
• repetitions: 序列类型，二进制 (binary)
• cluster: 序列类型，序列元素为整数 (int64)

数据集分割

• 训练集 (train):
  • 样本数量: 43200
  • 数据大小: 323557137 字节

数据集大小

• 总大小: 323557137 字节
• 下载大小: 0 字节