oriki101/mc4_ja_text_volume_annotatted_data

该数据集是对mC4的日语数据进行人工评估的结果，评估标准是根据文本中句子的比例进行1到5级的评分，评分结果存储在数据集的score字段中。数据集的样本量为500件，旨在帮助清理mC4中的低质量数据。

原始信息汇总

数据集概述

数据集信息

• 许可证: odc-by
• 配置:
  • 名称: default
  • 数据文件:
    • 分割: train
    • 路径: data/train-*

数据集特征

• 特征:
  • 名称: text
    • 数据类型: string
  • 名称: timestamp
    • 数据类型: int64
  • 名称: url
    • 数据类型: string
  • 名称: score
    • 数据类型: int64

数据分割

• 分割:
  • 名称: train
  • 字节数: 5152049
  • 样本数: 501

数据集大小

• 下载大小: 2669350
• 数据集大小: 5152049

数据集描述

• 该数据集是对mC4的日语数据进行人工评估，根据句子比例分为1到5个等级。
• 句子比例存储在score字段中：
  • 1: 句子比例≤20%
  • 2: 句子比例20%~40%
  • 3: 句子比例40%~60%
  • 4: 句子比例60%~80%
  • 5: 句子比例80%~100%
• 数据量较少，共500条，但有助于mC4的垃圾数据删除。