soketlabs/bhasha-wiki-indic

该数据集包含与印度相关的维基百科文章，并翻译成六种印度语言（印地语、孟加拉语、古吉拉特语、泰米尔语、卡纳达语和乌尔都语）。数据集由Soket AI Labs策划，旨在为需要印度知识和上下文理解的预训练语言模型提供支持。每篇文章包含ID、URL、标题、文本内容以及句子、字符、单词和标记的数量。数据集的创建过程包括从维基百科中筛选与印度相关的文章，清理数据，并使用AI4Bharat的IndicTrans2模型将文章翻译成六种印度语言。

This dataset contains Wikipedia articles related to India, translated into six Indian languages: Hindi, Bengali, Gujarati, Tamil, Kannada, and Urdu. Curated by Soket AI Labs, this dataset is designed to support pretrained language models that require Indian knowledge and contextual understanding. Each article includes an ID, URL, title, text content, along with the counts of sentences, characters, words, and tokens. The dataset creation process involves filtering India-associated articles from Wikipedia, conducting data cleaning, and translating the articles into the six target Indian languages using AI4Bharat's IndicTrans2 model.

原始信息汇总

数据集概述

基本信息

• 语言: 孟加拉语 (bn), 英语 (en), 古吉拉特语 (gu), 印地语 (hi), 卡纳达语 (kn), 泰米尔语 (ta), 乌尔都语 (ur)
• 许可证: cc-by-3.0
• 大小类别: 1M<n<10M
• 任务类别: 文本生成, 填充掩码
• 任务ID: 语言建模, 掩码语言建模

配置详情

20231101.bn

• 数据文件:
  • 分割: 训练
  • 路径: ben_Beng/train-*
• 特征:
  • id: 字符串
  • url: 字符串
  • title: 字符串
  • text: 字符串
  • sents: 整数32
  • chars: 整数32
  • words: 整数32
  • tokens: 整数32
• 分割:
  • 训练:
    • 字节数: 674539757
    • 样本数: 200820
• 下载大小: 652782434
• 数据集大小: 652782434

20231101.en

• 数据文件:
  • 分割: 训练
  • 路径: eng_Latn/train-*
• 特征:
  • id: 字符串
  • url: 字符串
  • title: 字符串
  • text: 字符串
  • sents: 整数32
  • chars: 整数32
  • words: 整数32
  • tokens: 整数32
• 分割:
  • 训练:
    • 字节数: 703955598
    • 样本数: 200820
• 下载大小: 426488108
• 数据集大小: 426488108

20231101.gu

• 数据文件:
  • 分割: 训练
  • 路径: guj_Gujr/train-*
• 特征:
  • id: 字符串
  • url: 字符串
  • title: 字符串
  • text: 字符串
  • sents: 整数32
  • chars: 整数32
  • words: 整数32
  • tokens: 整数32
• 分割:
  • 训练:
    • 字节数: 668666407
    • 样本数: 200820
• 下载大小: 658661502
• 数据集大小: 658661502

20231101.hi

• 数据文件:
  • 分割: 训练
  • 路径: hin_Deva/train-*
• 特征:
  • id: 字符串
  • url: 字符串
  • title: 字符串
  • text: 字符串
  • sents: 整数32
  • chars: 整数32
  • words: 整数32
  • tokens: 整数32
• 分割:
  • 训练:
    • 字节数: 678769726
    • 样本数: 200820
• 下载大小: 640983312
• 数据集大小: 640983312

20231101.kn

• 数据文件:
  • 分割: 训练
  • 路径: kan_Knda/train-*
• 特征:
  • id: 字符串
  • url: 字符串
  • title: 字符串
  • text: 字符串
  • sents: 整数32
  • chars: 整数32
  • words: 整数32
  • tokens: 整数32
• 分割:
  • 训练:
    • 字节数: 708769566
    • 样本数: 200820
• 下载大小: 689888426
• 数据集大小: 689888426

20231101.ta

• 数据文件:
  • 分割: 训练
  • 路径: tam_Taml/train-*
• 特征:
  • id: 字符串
  • url: 字符串
  • title: 字符串
  • text: 字符串
  • sents: 整数32
  • chars: 整数32
  • words: 整数32
  • tokens: 整数32
• 分割:
  • 训练:
    • 字节数: 781041863
    • 样本数: 200820
• 下载大小: 721062888
• 数据集大小: 721062888

20231101.ur

• 数据文件:
  • 分割: 训练
  • 路径: urd_Arab/train-*
• 特征:
  • id: 字符串
  • url: 字符串
  • title: 字符串
  • text: 字符串
  • sents: 整数32
  • chars: 整数32
  • words: 整数32
  • tokens: 整数32
• 分割:
  • 训练:
    • 字节数: 655510379
    • 样本数: 200820
• 下载大小: 543259766
• 数据集大小: 543259766

搜集汇总

数据集介绍

构建方式

在自然语言处理与多语言模型预训练的广阔图景中，高质量且覆盖特定地域知识的语料库显得尤为珍贵。Bhasha-Wiki-Indic数据集正是为此而生，其构建起始于对维基百科英文文章的精细筛选。研究者通过关键词匹配与少样本分类模型的二次判别，精准提取出与印度语境紧密相关的篇章。随后，利用AI4Bharat开发的IndicTrans2翻译模型，将这些精选的英文文章逐一转化为六种主要的印度语言，涵盖印地语、孟加拉语、古吉拉特语、泰米尔语、卡纳达语和乌尔都语。整个流程中，数据清洗贯穿始终，包括移除参考文献等非正文段落，最终形成了结构规整、内容纯净的多语言平行语料。

特点

该数据集最显著的特质在于其聚焦于印度本土知识的深度与广度。它并非简单的多语言文本堆砌，而是围绕印度语境构建的平行语料库，每一篇英文文章均配有其六种印度语言的精准翻译。数据规模宏大，总计包含约200,820篇维基百科条目，各语言版本在词元数量上分布均衡，总词元数高达15.6亿。这种精心设计的平行结构，使得模型能够在同一语义空间内学习多种语言的表达，尤其适合需要深度理解印度文化、历史与社会背景的预训练任务。此外，每条数据均保留了文章的元信息，如ID、URL及标题，便于溯源与后续分析。

使用方法

在应用层面，该数据集主要服务于多语言大语言模型的预训练与微调，尤其适用于需要强化印度本土知识理解的场景。使用者可通过HuggingFace的datasets库便捷加载，根据需求选择特定语言的配置，例如'20231101.hi'对应印地语部分。数据集以标准格式提供，每条记录包含文章ID、URL、英文标题以及各语言版本的句子列表。在实际操作中，可直接将各语言字段中的句子列表拼接为连续文本，用于语言建模或掩码语言建模任务。对于需要跨语言对齐的研究，其平行结构亦为多语言表示学习提供了理想的训练素材。

背景与挑战

背景概述

在自然语言处理领域，多语言预训练语言模型的性能高度依赖于训练数据的质量与覆盖面，尤其对于低资源语言，高质量语料库的匮乏成为制约模型理解地域性知识与文化背景的瓶颈。由Soket AI Labs于2023年11月创建的Bhasha Wiki Indic数据集，正是为应对这一挑战而诞生。该数据集聚焦于印度语境下的维基百科文章，通过精心筛选、清洗与翻译，构建了一个涵盖英语及六种主要印度语言（印地语、孟加拉语、古吉拉特语、泰米尔语、卡纳达语、乌尔都语）的平行语料库。其核心研究问题在于如何系统性地收集并整理印度本土事实性知识，以支持大型语言模型在印度语境下的预训练，从而提升模型对当地文化、历史与社会背景的理解能力。该数据集包含约20万篇维基百科文章，总计约15.6亿个词元，为多语言印度语料研究提供了坚实的数据基础，对推动印度本土自然语言处理技术的发展具有重要影响。

当前挑战

该数据集所解决的领域挑战在于，现有通用语料库往往忽视地域性知识，导致模型在印度语境下的事实推理与文化理解表现欠佳。Bhasha Wiki Indic通过提供高质量、多语言的印度百科内容，直接弥补了这一空白，使得预训练模型能够更准确地捕捉印度特有的实体、事件与概念。在构建过程中，团队面临的首要挑战是从海量维基百科英文文章中高效筛选出印度相关内容，为此采用了关键词过滤与少样本分类模型相结合的策略，以平衡召回率与精确度。其次，翻译环节需确保七种语言间的语义一致性，团队借助AI4Bharat的IndicTrans2模型实现了高质量机器翻译，但跨语言歧义与专有名词的准确转换仍是难点。此外，数据清洗需移除参考文献等非正文段落，同时保留文章结构的完整性，这一步骤对后续模型训练的稳定性至关重要。

常用场景

经典使用场景

在自然语言处理领域，多语言预训练语言模型的构建亟需大规模、高质量且对齐的语料资源。Bhasha-Wiki-Indic 数据集应运而生，它从维基百科中精心筛选并清洗了与印度语境紧密相关的英文文章，进而借助先进的神经机器翻译技术，将其精准转化为印地语、孟加拉语、古吉拉特语、泰米尔语、卡纳达语和乌尔都语六种主要印度语言。每一篇文档均保留了标题、URL 以及分句形式的平行文本，为跨语言语义对齐与多语言建模提供了结构清晰、内容翔实的训练素材。该数据集最经典的使用场景在于作为预训练语料，支撑面向印度次大陆知识体系的大语言模型（LLM）的从头训练或领域自适应微调，尤其适用于需要深度理解南亚文化、历史与社会背景的生成式任务。

解决学术问题

长期以来，印度语言在自然语言处理研究中面临数据稀疏与领域偏见的双重困境。现有的大规模多语言语料库往往以英语为中心，对印度本土语言覆盖不足，且缺乏对印度特定事实知识的系统编码。Bhasha-Wiki-Indic 数据集的问世，系统性地缓解了这些瓶颈。它解决了两个核心学术问题：其一，为低资源印度语言提供了大规模、领域聚焦的平行语料，使跨语言迁移学习与多语言模型预训练成为可能；其二，通过构建以印度百科知识为核心的语料库，有效提升了模型对印度地理、历史、文化及社会议题的语义理解能力。这一工作不仅推动了多语言自然语言处理在区域知识表示上的进展，也为后续研究者在低资源场景下探索语言模型的知识注入策略提供了坚实的基准。

衍生相关工作

Bhasha-Wiki-Indic 数据集的发布催生了一系列具有影响力的衍生工作。Soket AI Labs 基于该数据集训练了 Pragna-1B 模型，这是一款专为印度语境优化的十亿参数级多语言语言模型，其在多项印度语言的下游任务上展现了显著的性能优势。后续研究者利用该数据集的平行语料，探索了基于对比学习的跨语言句子表示学习，以及基于提示微调的多语言事实知识检索方法。此外，该数据集也启发了针对印度语言的数据增强策略研究，例如利用回译和噪声注入技术生成更多样化的训练样本。在评估基准方面，一些工作基于该数据集构建了印度语言的理解与生成评测集，为公平比较不同多语言模型的区域知识掌握程度提供了标准化参照。这些衍生成果共同推动了印度语言自然语言处理从数据匮乏走向数据驱动的范式转变。