hotchpotch/wikipedia-ja-20231030

该数据集是2023年10月30日的日语维基百科数据，包含两个配置：chunked和default。chunked配置包含id、url、title、row_id、chunk_row_id、text、start、end、overlap_text、overlap_start和overlap_end等特征，训练集包含6,577,416个样本，大小为8,594,421,711字节。default配置包含id、url、title、text和row_id等特征，训练集包含1,390,769个样本，大小为6,680,840,005字节。数据集的语言为日语，许可证为CC BY-SA 4.0。

原始信息汇总

数据集概述

数据集配置

• 配置名称: chunked

  • 特征:
    • id: string
    • url: string
    • title: string
    • row_id: int64
    • chunk_row_id: int64
    • text: string
    • start: int64
    • end: int64
    • overlap_text: string
    • overlap_start: int64
    • overlap_end: int64
  • 分割:
    • train
      • 字节数: 8594421711
      • 样本数: 6577416
  • 下载大小: 4767055138
  • 数据集大小: 8594421711

• 配置名称: default

  • 特征:
    • id: string
    • url: string
    • title: string
    • text: string
    • row_id: int64
  • 分割:
    • train
      • 字节数: 6680840005
      • 样本数: 1390769
  • 下载大小: 3779687960
  • 数据集大小: 6680840005

数据文件

• 配置名称: chunked

  • 数据文件:
    • 分割: train
    • 路径: chunked/train-*

• 配置名称: default

  • 数据文件:
    • 分割: train
    • 路径: data/train-*

其他信息

• 许可证: cc
• 语言: ja
• 友好名称: Wikipedia Japanese dump data
• 大小类别: 1M<n<10M