SEACrowd/sib_200

SIB-200是基于Flores-200的最大公开主题分类数据集，涵盖了205种语言和方言。该数据集为所有205种语言提供了训练集、验证集和测试集。

SIB-200 is the largest publicly available topic classification dataset based on Flores-200 covering 205 languages and dialects. The train/validation/test sets are available for all the 205 languages.

原始信息汇总

Sib 200 数据集概述

基本信息

• 名称: Sib 200
• 语言:
  • ace, ban, bjn, bug, ceb, ilo, ind, jav, kac, khm, lao, lus, min, mya, pag, shn, sun, tgl, tha, vie, war, zsm
• 任务类别: 主题建模 (Topic Modeling)
• 标签: 主题建模 (Topic Modeling)
• 版本:
  • 源版本: 1.0.0
  • SEACrowd版本: 2024.06.20
• 许可证: Creative Commons Attribution Share Alike 4.0 (cc-by-sa-4.0)

数据集描述

SIB-200 是基于 Flores-200 的最大公开主题分类数据集，涵盖 205 种语言和方言。训练集、验证集和测试集均适用于所有 205 种语言。

使用方法

使用 datasets 库

python from datasets import load_dataset dset = datasets.load_dataset("SEACrowd/sib_200", trust_remote_code=True)

使用 seacrowd 库

python import seacrowd as sc

使用默认配置加载数据集

dset = sc.load_dataset("sib_200", schema="seacrowd")

查看数据集的所有可用子集（配置名称）

print(sc.available_config_names("sib_200"))

使用特定配置加载数据集

dset = sc.load_dataset_by_config_name(config_name="<config_name>")

引用

如果使用 Sib 200 数据集，请引用以下内容：

@misc{adelani2023sib200, title={SIB-200: A Simple, Inclusive, and Big Evaluation Dataset for Topic Classification in 200+ Languages and Dialects}, author={David Ifeoluwa Adelani and Hannah Liu and Xiaoyu Shen and Nikita Vassilyev and Jesujoba O. Alabi and Yanke Mao and Haonan Gao and Annie En-Shiun Lee}, year={2023}, eprint={2309.07445}, archivePrefix={arXiv}, primaryClass={cs.CL} }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

SIB-200数据集基于Flores-200语料库构建，覆盖205种语言与方言，旨在为主题分类任务提供大规模、高覆盖度的评测基准。其构建过程通过系统性地选取Flores-200中多语言平行语料，并标注统一的主题类别标签，形成训练集、验证集与测试集三部分，确保每种语言均具备完整的划分结构。数据来源的多样性与语言平衡性设计，使得该数据集能够有效支撑跨语言主题分类模型的训练与评估。

特点

该数据集的核心特点在于其包容性与规模性，涵盖包括印尼语、爪哇语、他加禄语等在内的东南亚及全球多种低资源语言，显著拓展了主题分类研究的语言覆盖范围。每个语言子集均保持一致的类别体系与数据分割比例，便于进行公平的跨语言对比实验。此外，数据集采用CC-BY-SA-4.0许可协议，鼓励学术与工业界广泛使用，并依托SEACrowd数据枢纽提供标准化接口，增强了可复现性与易用性。

使用方法

用户可通过HuggingFace的datasets库直接加载数据集，调用`load_dataset("SEACrowd/sib_200", trust_remote_code=True)`即可获取全部语言子集。亦可借助SEACrowd库实现更灵活的配置管理，通过`sc.load_dataset("sib_200", schema="seacrowd")`或指定`config_name`加载特定语言子集。数据集以标准化的主题分类格式存储，可直接用于微调多语言预训练模型或评估零样本迁移能力，推荐结合官方GitHub仓库中的示例代码与基准结果进行实验。

背景与挑战

背景概述

SIB-200数据集由David Ifeoluwa Adelani等研究者于2023年创建，依托于Flores-200语料库，旨在构建一个覆盖205种语言和方言的大规模主题分类基准。该数据集的出现填补了多语言自然语言处理领域中低资源语言主题标注数据匮乏的空白，尤其关注东南亚及南亚地区的语言多样性。其核心研究问题在于如何通过简单、包容且大规模的数据集设计，推动多语言主题分类模型的公平性与泛化能力。作为SEACrowd数据枢纽的重要组成部分，SIB-200为跨语言迁移学习、模型评估及语言技术民主化提供了关键资源，对促进低资源语言的研究与产业化应用具有深远影响。

当前挑战

当前SIB-200面临的主要挑战包括：1) 领域问题层面，多语言主题分类需应对语言间语义差异、文化特异性及标注不一致性，尤其对于资源稀缺的语言（如亚齐语、米南加保语），模型常因训练数据不足而性能骤降；2) 构建过程中，数据需从Flores-200的机器翻译语料中提取并人工校验主题标签，难以完全避免噪声与歧义，且部分语言缺乏母语者参与标注，导致标签质量参差不齐；此外，方言变体（如巽他语与爪哇语的多种口语形式）的覆盖与统一标注标准的确立，仍是技术实现上的严峻挑战。

常用场景

经典使用场景

SIB-200数据集基于Flores-200构建，覆盖205种语言和方言，是当前规模最大的公开主题分类基准数据集。其经典使用场景集中于多语言主题建模任务，研究者可借助其统一的训练、验证与测试集划分，系统评估跨语言文本分类模型的泛化能力。该数据集尤其适用于低资源语言场景，为东南亚诸语种（如亚齐语、巽他语、伊洛卡诺语等）提供了稀缺的标注资源，从而推动多语言自然语言处理研究从高资源语言向低资源语言拓展。通过引入标准化的主题分类任务，SIB-200为不同语言间的语义对齐与跨语种迁移学习奠定了坚实的实验基础。

解决学术问题

在学术研究层面，SIB-200核心解决了多语言主题分类中缺乏大规模、高覆盖度且语言均衡的评估基准这一长期瓶颈。传统数据集多聚焦于英语或少数高资源语言，导致低资源语言的模型性能评估存在严重偏差。该数据集通过纳入200余种语言，包括大量方言和濒危语言，使研究者能够系统探究语言多样性对分类模型的影响，并验证预训练语言模型在多语言环境下的鲁棒性。其意义在于揭示了跨语言主题分类任务中数据稀疏性与语言结构差异带来的挑战，为开发更公平、更具包容性的多语言NLP模型提供了关键评测工具。

衍生相关工作

SIB-200数据集催生了一系列具有影响力的后续研究。Adelani等人（2023）在提出该数据集的同时，系统评估了多种多语言预训练模型（如mBERT、XLM-R）在205种语言上的主题分类表现，揭示了模型性能与语言资源丰富度之间的强相关性。该工作还提出了基于语言族系的细粒度分析框架，为后续跨语言迁移学习研究提供了方法论参考。此外，SEACrowd项目（Lovenia等人，2024）将SIB-200整合进其多语言多模态数据枢纽，进一步拓展了其在东南亚语言基准测试中的应用。这些衍生工作共同推动了多语言NLP评测体系的标准化与包容性发展。