anon-auth/shiksha

该数据集包含多语言翻译对，涉及的语言包括英语、孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、泰米尔语和泰卢固语。数据集的特征包括源语言、目标语言、源文本、目标文本、评分、课程ID和讲座ID。数据集分为训练集和测试集，训练集包含2,549,721个样本，测试集包含283,303个样本。

This dataset contains multilingual translation pairs, including languages such as English, Bengali, Gujarati, Hindi, Kannada, Malayalam, Marathi, Tamil, and Telugu. The features of the dataset include source language, target language, source text, target text, score, course ID, and lecture ID. The dataset is divided into a training set and a test set, with the training set containing 2,549,721 samples and the test set containing 283,303 samples.

原始信息汇总

数据集概述

特征信息

• src_lang: 源语言
  • 数据类型: 类别标签
  • 类别名称:
    • 0: eng_Latn (英语)
    • 1: ben_Beng (孟加拉语)
    • 2: guj_Gujr (古吉拉特语)
    • 3: hin_Deva (印地语)
    • 4: kan_Knda (卡纳达语)
    • 5: mal_Mlym (马拉雅拉姆语)
    • 6: mar_Deva (马拉地语)
    • 7: tam_Taml (泰米尔语)
    • 8: tel_Telu (泰卢固语)
• tgt_lang: 目标语言
  • 数据类型: 类别标签
  • 类别名称:
    • 0: eng_Latn (英语)
    • 1: ben_Beng (孟加拉语)
    • 2: guj_Gujr (古吉拉特语)
    • 3: hin_Deva (印地语)
    • 4: kan_Knda (卡纳达语)
    • 5: mal_Mlym (马拉雅拉姆语)
    • 6: mar_Deva (马拉地语)
    • 7: tam_Taml (泰米尔语)
    • 8: tel_Telu (泰卢固语)
• src_text: 源文本
  • 数据类型: 字符串
• tgt_text: 目标文本
  • 数据类型: 字符串
• score: 评分
  • 数据类型: 浮点数
• course_id: 课程ID
  • 数据类型: 字符串
• lecture_id: 讲座ID
  • 数据类型: 字符串

数据集划分

• train: 训练集
  • 字节数: 1552249710
  • 样本数: 2549721
• test: 测试集
  • 字节数: 172273567
  • 样本数: 283303

数据集大小

• 下载大小: 890353050 字节
• 数据集总大小: 1724523277 字节

配置信息

• config_name: default
  • 数据文件路径:
    • 训练集: data/train-*
    • 测试集: data/test-*