turkgpt/Turk-GPT-Dataset-tr-1

该数据集包含三个主要字段：id、text和meta。其中，meta字段是一个复杂结构，包含annotations、identification、line_identifications和warc_headers等子字段。数据集只有一个分割，即train分割，包含100,001个示例，总大小为621,066,823字节。

原始信息汇总

数据集概述

数据集信息

• 特征:
  • id: 类型为 int64
  • text: 类型为 string
  • meta: 结构化数据，包含以下字段:
    • annotations: 序列类型，元素类型为 string
    • identification: 结构化数据，包含以下字段:
      • label: 类型为 string
      • prob: 类型为 float64
    • line_identifications: 列表类型，元素为结构化数据，包含以下字段:
      • label: 类型为 string
      • prob: 类型为 float64
    • warc_headers: 结构化数据，包含以下字段:
      • content-length: 类型为 int64
      • content-type: 类型为 string
      • warc-block-digest: 类型为 string
      • warc-date: 类型为 string
      • warc-identified-content-language: 类型为 string
      • warc-record-id: 类型为 string
      • warc-refers-to: 类型为 string
      • warc-target-uri: 类型为 string
      • warc-type: 类型为 string

数据集划分

• train:
  • 字节数: 621066823
  • 样本数: 100001

数据集大小

• 下载大小: 329767625 字节
• 数据集大小: 621066823 字节

配置

• default:
  • 数据文件路径: data/train-*