siripragadashashank/mkb

CVIT MKB数据集包含印度总理在All India Radio上的演讲Mann Ki Baat的多语言翻译。该数据集支持文本生成和填充掩码任务，涉及的语言包括印地语、泰卢固语、泰米尔语、马拉雅拉姆语、古吉拉特语、乌尔都语、孟加拉语、奥里亚语、马拉地语、旁遮普语和英语。数据集的结构包括多个配置，每个配置对应两种语言之间的翻译数据，旨在支持多语言平行语料库的收集，特别是在印度语言之间的翻译任务。

原始信息汇总

数据集卡片 for CVIT MKB

数据集描述

数据集摘要

印度总理的演讲 - Mann Ki Baat，在全印广播电台，翻译成多种语言。

支持的任务和排行榜

[更多信息需要]

语言

印地语、泰卢固语、泰米尔语、马拉雅拉姆语、古吉拉特语、乌尔都语、孟加拉语、奥里亚语、马拉地语、旁遮普语和英语

数据集结构

数据实例

[更多信息需要]

数据字段

• src_tag: string 源语言文本
• tgt_tag: string 目标语言翻译

数据分割

[更多信息需要]

数据集创建

策划理由

[更多信息需要]

源数据

[更多信息需要]

初始数据收集和规范化

[更多信息需要]

源语言生产者是谁？

[更多信息需要]

注释

注释过程

[更多信息需要]

注释者是谁？

[更多信息需要]

个人和敏感信息

[更多信息需要]

使用数据集的注意事项

数据集的社会影响

[更多信息需要]

偏见的讨论

[更多信息需要]

其他已知限制

[更多信息需要]

附加信息

数据集策展人

[更多信息需要]

许可信息

这里提供的数据集和预训练模型在知识共享署名-相同方式共享 4.0 国际许可下获得许可。

引用信息

@misc{siripragada2020multilingual, title={A Multilingual Parallel Corpora Collection Effort for Indian Languages}, author={Shashank Siripragada and Jerin Philip and Vinay P. Namboodiri and C V Jawahar}, year={2020}, eprint={2007.07691}, archivePrefix={arXiv}, primaryClass={cs.CL} }

贡献

感谢 @vasudevgupta7 添加此数据集。

搜集汇总

背景与挑战

背景概述

该数据集是印度总理'Mann Ki Baat'演讲的多语言平行语料库，包含11种印度语言和英语的翻译，用于文本生成和掩码语言建模任务。数据集规模在1千到1万条之间，基于Creative Commons Attribution-ShareAlike 4.0 International许可证发布，相关研究发表于arXiv论文2007.07691。