mteb/masakhanews

MasakhaNEWS是非洲16种语言中最大的公开新闻主题分类数据集，包括所有语言的训练/验证/测试集。该数据集与MTEB（大规模文本嵌入基准）相关联，并包括测试和训练集的样本数量、字符数、文本长度、唯一文本和标签的统计数据。

MasakhaNEWS is the largest publicly available dataset for news topic classification in 16 African languages, with train/validation/test sets available for all languages. The dataset is associated with the MTEB (Massive Text Embedding Benchmark) and includes statistics on the number of samples, characters, text lengths, unique texts, and labels for both the test and train sets.

原始信息汇总

数据集概述

数据集配置

默认配置

• 测试集: test/*.parquet
• 训练集: train/*.parquet
• 验证集: dev/*.parquet

其他配置

• Hau配置:

  • 测试集: test/hau.parquet
  • 训练集: train/hau.parquet
  • 验证集: dev/hau.parquet

• Run配置:

  • 测试集: test/run.parquet
  • 训练集: train/run.parquet
  • 验证集: dev/run.parquet

• Pcm配置:

  • 测试集: test/pcm.parquet
  • 训练集: train/pcm.parquet
  • 验证集: dev/pcm.parquet

• Yor配置:

  • 测试集: test/yor.parquet
  • 训练集: train/yor.parquet
  • 验证集: dev/yor.parquet

• Som配置:

  • 测试集: test/som.parquet
  • 训练集: train/som.parquet
  • 验证集: dev/som.parquet

• Xho配置:

  • 测试集: test/xho.parquet
  • 训练集: train/xho.parquet
  • 验证集: dev/xho.parquet

• Tir配置:

  • 测试集: test/tir.parquet
  • 训练集: train/tir.parquet
  • 验证集: dev/tir.parquet

• Lin配置:

  • 测试集: test/lin.parquet
  • 训练集: train/lin.parquet
  • 验证集: dev/lin.parquet

• Swa配置:

  • 测试集: test/swa.parquet
  • 训练集: train/swa.parquet
  • 验证集: dev/swa.parquet

• Sna配置:

  • 测试集: test/sna.parquet
  • 训练集: train/sna.parquet
  • 验证集: dev/sna.parquet

• Eng配置:

  • 测试集: test/eng.parquet
  • 训练集: train/eng.parquet
  • 验证集: dev/eng.parquet

• Lug配置:

  • 测试集: test/lug.parquet
  • 训练集: train/lug.parquet
  • 验证集: dev/lug.parquet

• Amh配置:

  • 测试集: test/amh.parquet
  • 训练集: train/amh.parquet
  • 验证集: dev/amh.parquet

• Ibo配置:

  • 测试集: test/ibo.parquet
  • 训练集: train/ibo.parquet
  • 验证集: dev/ibo.parquet

• Fra配置:

  • 测试集: test/fra.parquet
  • 训练集: train/fra.parquet
  • 验证集: dev/fra.parquet

• Orm配置:

  • 测试集: test/orm.parquet
  • 训练集: train/orm.parquet
  • 验证集: dev/orm.parquet