akahana/GlotCC-V1-jav-Latn

该数据集包含多个特征字段，如内容、WARC目标URI、WARC日期、WARC记录ID、质量警告、类别、识别语言、识别概率、识别一致性、脚本百分比、句子数量、内容长度和TLSH等。数据集被分割为训练集，包含10348个样本，总大小为58018687字节。

This dataset includes multiple feature fields such as content, WARC target URI, WARC date, WARC record ID, quality warnings, categories, identification language, identification probability, identification consistency, script percentage, number of sentences, content length, and TLSH. The dataset is split into a training set containing 10,348 samples with a total size of 58,018,687 bytes.

原始信息汇总

数据集概述

数据集信息

特征

• content: 类型为字符串。
• warc-target-uri: 类型为字符串。
• warc-date: 类型为字符串。
• warc-record-id: 类型为字符串。
• quality-warnings: 类型为字符串序列。
• categories: 类型为字符串序列。
• identification-language: 类型为字符串。
• identification-prob: 类型为浮点数。
• identification-consistency: 类型为浮点数。
• script-percentage: 类型为浮点数。
• num-sents: 类型为整数。
• content-length: 类型为整数。
• tlsh: 类型为字符串。

数据分割

• train: 包含10348个样本，总字节数为58018687。

数据集大小

• 下载大小: 31534935字节。
• 数据集大小: 58018687字节。

配置

• default:
  • 数据文件路径: data/train-*。