bkai-foundation-models/BKAINewsCorpus

BKAINewsCorpus数据集是基于Binhvq News Corpus扩展而来的越南新闻语料库，新增了1000万篇文章，最终形成了一个包含约3200万篇文章的语料库。数据集经过模糊去重处理，生成了53GB的干净数据，适用于大语言模型的持续预训练。

原始信息汇总

数据集概述

数据集信息

• 特征:

  • id: 数据类型为 int64
  • link: 数据类型为 string
  • publish: 结构体，包含 date 字段，数据类型为 string
  • text: 数据类型为 string

• 分割:

  • train: 包含 16,762,024 个样本，总字节数为 56,444,149,767

• 大小:

  • 下载大小: 28,652,191,009 字节
  • 数据集大小: 56,444,149,767 字节

配置

• 默认配置:
  • 数据文件路径: data/train-*