kothasuhas/QuRatedPajama_c4

该数据集是QuRate数据集的子集，仅包含C4数据，用于快速数据过滤/课程挑战。数据集包含文本内容、写作风格评分、事实和琐事评分、教育价值评分、所需专业知识评分等多个维度的评分，以及文本长度、输入ID、文档索引、文档位置、来源域、聚类ID等信息。数据集包含一个训练集，大小为1331409138字节，包含159673个样本。

原始信息汇总

数据集概述

数据集特征

• text：文本，数据类型为字符串。
• writing_style_average：写作风格平均值，数据类型为浮点数。
• facts_and_trivia_average：事实与琐事平均值，数据类型为浮点数。
• educational_value_average：教育价值平均值，数据类型为浮点数。
• required_expertise_average：所需专业知识平均值，数据类型为浮点数。
• writing_style_chunks：写作风格块，序列类型为浮点数。
• facts_and_trivia_chunks：事实与琐事块，序列类型为浮点数。
• educational_value_chunks：教育价值块，序列类型为浮点数。
• required_expertise_chunks：所需专业知识块，序列类型为浮点数。
• length：长度，数据类型为整数。
• chunk_lengths：块长度，序列类型为整数。
• input_ids：输入ID，序列类型为整数。
• document_index：文档索引，数据类型为整数。
• document_position：文档位置，数据类型为整数。
• source_domain：源域，数据类型为字符串。
• cluster_id：聚类ID，数据类型为整数。
• cluster_no：聚类编号，数据类型为整数。

数据集分割

• train：训练集，包含159673个样本，总大小为1331409138字节。

数据集大小

• 下载大小：707377848字节。
• 数据集大小：1331409138字节。

配置

• config_name：default
• data_files：
  • split：train
  • path：data/train-*