samanantar

Samanantar专注于提供大规模的印度语言平行语料库，包含英语和11种印度语言（阿萨姆语、孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、奥里亚语、旁遮普语、泰米尔语和泰卢固语）之间的4960万个句子对。每个数据实例包含ID、源语言（英语）句子、目标语言（11种印度语言之一）句子以及数据来源信息，数据来源包括anuvaad_catchnews、asianetnews、wikipedia等多个类别。该语料库基于CC-BY-NC 4.0协议发布。