kenhktsui/openwebtext_quality_score_v1

---
dataset_info:
features:
- name: text
dtype: string
- name: quality_score_v1
dtype: float64
splits:
- name: train
num_bytes: 39833601840
num_examples: 8013769
download_size: 24272267533
dataset_size: 39833601840
license: cc0-1.0
task_categories:
- text-generation
language:
- en
---
# Dataset Card for "openwebtext_quality_score_v1"

Adding quality score v1 to [Skylion007/openwebtext](https://huggingface.co/datasets/Skylion007/openwebtext)

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息：
特征列：
- 特征名：text，数据类型：字符串（string）
- 特征名：quality_score_v1，数据类型：双精度浮点数（float64）
数据集划分：
- 划分名称：训练集（train），占用字节数：39833601840，样本数量：8013769
下载总大小：24272267533，数据集总存储大小：39833601840
许可证：cc0-1.0
任务类别：
- 文本生成
语言：
- 英语

# 数据集卡片："openwebtext_quality_score_v1"

本数据集为[Skylion007/openwebtext](https://huggingface.co/datasets/Skylion007/openwebtext)新增了v1版质量评分。

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集信息

• 特征:
  • text: 数据类型为 string
  • quality_score_v1: 数据类型为 float64
• 分割:
  • train: 包含 8013769 个样本，总大小为 39833601840 字节
• 下载大小: 24272267533 字节
• 数据集大小: 39833601840 字节
• 许可: cc0-1.0
• 任务类别:
  • text-generation
• 语言:
  • en