soketlabs/bhasha-wiki-translated

我们已将618.5万篇英文维基百科文章翻译成六种印度语言。翻译使用了IndicTrans2模型。数据集由Soket AI labs策划，支持的语言包括印地语、孟加拉语、古吉拉特语、泰米尔语、卡纳达语和乌尔都语。数据集的主要用途是用于印度语言模型的预训练或微调。

We have translated 6.185 million English Wikipedia articles into six Indian languages. The translation was performed using the IndicTrans2 model. This dataset is curated by Soket AI Labs, with supported languages including Hindi, Bengali, Gujarati, Tamil, Kannada, and Urdu. The primary intended use cases of this dataset are pre-training or fine-tuning of Indian language models.

原始信息汇总

数据集概述

数据集名称

• 名称: Bhasha Wikipedia Translated

数据集描述

• 描述: 该数据集包含6.185百万篇英语维基百科文章被翻译成6种印度语言的内容。翻译工作使用的是IndicTrans2模型。

数据集内容

• 语言: 印地语、孟加拉语、古吉拉特语、泰米尔语、卡纳达语、乌尔都语
• 任务类别: 文本生成、填充掩码
• 任务ID: 语言建模、掩码语言建模
• 标签: 印度语

数据集结构

• 配置名称: wiki_translated
• 数据文件: wiki_translated/*.parquet
• 分割详情:
  • 训练集:
    • 大小: 20200062385字节
    • 示例数量: 6407814
  • 下载大小: 11630929031字节

数据集使用

• 用途: 用于预训练或微调印度语言模型

数据集许可证

• 许可证: cc-by-sa-4.0

数据集创建

• 来源数据: 维基百科文章
• 数据收集和处理: 信息不足

数据集维护者

• 维护者: Soket AI labs