siripragadashashank/mkb

CVIT MKB数据集包含印度总理在All India Radio上的演讲Mann Ki Baat的多语言翻译。该数据集支持文本生成和填充掩码任务，涉及的语言包括印地语、泰卢固语、泰米尔语、马拉雅拉姆语、古吉拉特语、乌尔都语、孟加拉语、奥里亚语、马拉地语、旁遮普语和英语。数据集的结构包括多个配置，每个配置对应两种语言之间的翻译数据，旨在支持多语言平行语料库的收集，特别是在印度语言之间的翻译任务。

CVIT MKB Dataset contains multilingual translations of the Mann Ki Baat speeches delivered by the Prime Minister of India on All India Radio. This dataset supports text generation and mask filling tasks, covering languages including Hindi, Telugu, Tamil, Malayalam, Gujarati, Urdu, Bengali, Odia, Marathi, Punjabi and English. The dataset is structured with multiple configurations, each corresponding to translation data between two languages, aiming to support the collection of multilingual parallel corpora, particularly for translation tasks among Indian languages.

原始信息汇总

数据集卡片 for CVIT MKB

数据集描述

数据集摘要

印度总理的演讲 - Mann Ki Baat，在全印广播电台，翻译成多种语言。

支持的任务和排行榜

[更多信息需要]

语言

印地语、泰卢固语、泰米尔语、马拉雅拉姆语、古吉拉特语、乌尔都语、孟加拉语、奥里亚语、马拉地语、旁遮普语和英语

数据集结构

数据实例

[更多信息需要]

数据字段

• src_tag: string 源语言文本
• tgt_tag: string 目标语言翻译

数据分割

[更多信息需要]

数据集创建

策划理由

[更多信息需要]

源数据

[更多信息需要]

初始数据收集和规范化

[更多信息需要]

源语言生产者是谁？

[更多信息需要]

注释

注释过程

[更多信息需要]

注释者是谁？

[更多信息需要]

个人和敏感信息

[更多信息需要]

使用数据集的注意事项

数据集的社会影响

[更多信息需要]

偏见的讨论

[更多信息需要]

其他已知限制

[更多信息需要]

附加信息

数据集策展人

[更多信息需要]

许可信息

这里提供的数据集和预训练模型在知识共享署名-相同方式共享 4.0 国际许可下获得许可。

引用信息

@misc{siripragada2020multilingual, title={A Multilingual Parallel Corpora Collection Effort for Indian Languages}, author={Shashank Siripragada and Jerin Philip and Vinay P. Namboodiri and C V Jawahar}, year={2020}, eprint={2007.07691}, archivePrefix={arXiv}, primaryClass={cs.CL} }

贡献

感谢 @vasudevgupta7 添加此数据集。

搜集汇总

背景与挑战

背景概述

该数据集是印度总理'Mann Ki Baat'演讲的多语言平行语料库，包含11种印度语言和英语的翻译，用于文本生成和掩码语言建模任务。数据集规模在1千到1万条之间，基于Creative Commons Attribution-ShareAlike 4.0 International许可证发布，相关研究发表于arXiv论文2007.07691。