systemk/c4-ja-5k-metrics

该数据集包含多个配置，每个配置具有不同的特征和分割。特征包括文本内容、语言、置信度、行数统计、字符统计、词数统计、句子统计等。此外，还包含一些特定的标签和掩码，用于标识文本中的特定特征，如是否有不雅词汇、是否有JavaScript代码等。每个配置的数据文件路径、下载大小和数据集大小也有所不同。

原始信息汇总

数据集概述

数据集 all-nlp

• 特征:
  • text: 文本，数据类型为字符串。
  • language: 语言，数据类型为字符串。
  • confidence: 置信度，包含多种语言的浮点数类型数据。
  • lines_with_no_ending_punctuation: 无结尾标点符号的行，包含标签和掩码。
  • lines_with_too_few_words: 单词过少的行，包含标签和掩码。
  • has_naughty_word: 是否包含不当词汇，数据类型为布尔值。
  • naughty_words: 不当词汇列表，数据类型为字符串序列。
  • has_javascript: 是否包含JavaScript代码，数据类型为布尔值。
  • has_lorem_ipsum: 是否包含Lorem Ipsum文本，数据类型为布尔值。
  • has_curly_brace: 是否包含花括号，数据类型为布尔值。
  • line_count: 行数，数据类型为整数。
  • character_count: 字符数，数据类型为整数。
  • token_count: 词数，数据类型为整数。
  • text_count: 文本数，数据类型为整数。
  • sentence_counts: 句子数列表，数据类型为整数序列。
• 分割:
  • train: 训练集，包含5000个样本，数据大小为60566536字节。
• 下载大小: 27094942字节。
• 数据集大小: 60566536字节。

数据集 dsir

• 特征:
  • text: 文本，数据类型为字符串。
  • tokens: 词列表，数据类型为字符串序列。
  • weight: 权重，数据类型为浮点数。
  • prob_dists: 概率分布，数据类型为浮点数序列。
• 分割:
  • train: 训练集，包含5000个样本，数据大小为484592779字节。
  • percent_0_5 至 percent_95_100: 多个百分比分割，每个包含250个样本，数据大小为24229638.95字节。
• 下载大小: 331722089字节。
• 数据集大小: 629970612.7000002字节。

数据集 dsir-domain

• 特征:
  • text: 文本，数据类型为字符串。
  • tokens: 词列表，数据类型为字符串序列。
  • weight: 权重，数据类型为浮点数。
  • prob_dists: 概率分布，数据类型为浮点数序列。
• 分割:
  • train: 训练集，包含5000个样本，数据大小为484592779字节。
• 下载大小: 74755598字节。
• 数据集大小: 484592779字节。

数据集 ppl_ccnet

• 特征:
  • text: 文本，数据类型为字符串。
  • ppl: 困惑度，数据类型为浮点数。
• 分割:
  • train: 训练集，包含5000个样本，数据大小为47550417字节。
• 下载大小: 24672308字节。
• 数据集大小: 47550417字节。