soketlabs/bhasha-wiki-translated

我们已将618.5万篇英文维基百科文章翻译成六种印度语言。翻译使用了IndicTrans2模型。数据集由Soket AI labs策划，支持的语言包括印地语、孟加拉语、古吉拉特语、泰米尔语、卡纳达语和乌尔都语。数据集的主要用途是用于印度语言模型的预训练或微调。

原始信息汇总

数据集概述

数据集名称

• 名称: Bhasha Wikipedia Translated

数据集描述

• 描述: 该数据集包含6.185百万篇英语维基百科文章被翻译成6种印度语言的内容。翻译工作使用的是IndicTrans2模型。

数据集内容

• 语言: 印地语、孟加拉语、古吉拉特语、泰米尔语、卡纳达语、乌尔都语
• 任务类别: 文本生成、填充掩码
• 任务ID: 语言建模、掩码语言建模
• 标签: 印度语

数据集结构

• 配置名称: wiki_translated
• 数据文件: wiki_translated/*.parquet
• 分割详情:
  • 训练集:
    • 大小: 20200062385字节
    • 示例数量: 6407814
  • 下载大小: 11630929031字节

数据集使用

• 用途: 用于预训练或微调印度语言模型

数据集许可证

• 许可证: cc-by-sa-4.0

数据集创建

• 来源数据: 维基百科文章
• 数据收集和处理: 信息不足

数据集维护者

• 维护者: Soket AI labs