zicsx/OSCAR-2301-Hindi

---
dataset_info:
features:
- name: id
dtype: int64
- name: text
dtype: string
- name: meta
struct:
- name: warc_headers
struct:
- name: warc-record-id
dtype: string
- name: warc-date
dtype: string
- name: content-type
dtype: string
- name: content-length
dtype: int32
- name: warc-type
dtype: string
- name: warc-identified-content-language
dtype: string
- name: warc-refers-to
dtype: string
- name: warc-target-uri
dtype: string
- name: warc-block-digest
dtype: string
- name: identification
struct:
- name: label
dtype: string
- name: prob
dtype: float32
- name: harmful_pp
dtype: float32
- name: tlsh
dtype: string
- name: quality_warnings
sequence: string
- name: categories
sequence: string
- name: sentence_identifications
list:
- name: label
dtype: string
- name: prob
dtype: float32
splits:
- name: train
num_bytes: 35532441971
num_examples: 2757227
download_size: 13860618751
dataset_size: 35532441971
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

原始信息汇总

数据集信息

特征

• id: 数据类型为 int64
• text: 数据类型为 string
• meta: 结构化数据，包含以下字段：
  • warc_headers: 结构化数据，包含以下字段：
    • warc-record-id: 数据类型为 string
    • warc-date: 数据类型为 string
    • content-type: 数据类型为 string
    • content-length: 数据类型为 int32
    • warc-type: 数据类型为 string
    • warc-identified-content-language: 数据类型为 string
    • warc-refers-to: 数据类型为 string
    • warc-target-uri: 数据类型为 string
    • warc-block-digest: 数据类型为 string
  • identification: 结构化数据，包含以下字段：
    • label: 数据类型为 string
    • prob: 数据类型为 float32
  • harmful_pp: 数据类型为 float32
  • tlsh: 数据类型为 string
  • quality_warnings: 序列类型，数据类型为 string
  • categories: 序列类型，数据类型为 string
  • sentence_identifications: 列表类型，包含以下字段：
    • label: 数据类型为 string
    • prob: 数据类型为 float32

数据分割

• train: 包含 2757227 个样本，总字节数为 35532441971

数据集大小

• 下载大小: 13860618751 字节
• 数据集大小: 35532441971 字节

配置

• default: 包含训练数据文件，路径为 data/train-*