amithm3/shrutilipi

AI4Bharat Shrutilipi ASR 数据集是一个用于自动语音识别任务的数据集，支持多种印度语言，包括卡纳达语、梵语、孟加拉语、旁遮普语、马拉雅拉姆语、古吉拉特语、泰米尔语、泰卢固语、印地语和马拉地语。数据集包含音频和转录数据，分为训练集、验证集和测试集，每个集都有详细的字节数和示例数。数据集采用 Apache 2.0 许可证，规模在100万到1000万条之间。

原始信息汇总

数据集概述

基本信息

• 名称: AI4Bharat Shrutilipi ASR Dataset
• 语言: 包含以下语言：kn, sa, bn, pa, ml, gu, ta, te, hi, mr
• 许可证: Apache-2.0
• 大小: 每个语言数据集大小介于1M至10M之间

任务类别

• 任务: 自动语音识别（Automatic Speech Recognition）

数据集详细配置

1. 孟加拉语 (bn)

• 特征:
  • 音频 (audio)
  • 转录文本 (transcription)
• 分割:
  • 训练集: 302349个样本，总字节数59658532357.726
  • 验证集: 37602个样本，总字节数6723169844.11
  • 测试集: 38740个样本，总字节数7660623563.6
• 下载大小: 74278694994字节
• 数据集大小: 74042325765.436字节

2. 古吉拉特语 (gu)

• 特征:
  • 音频 (audio)
  • 转录文本 (transcription)
• 分割:
  • 训练集: 329931个样本，总字节数55793674372.628
  • 验证集: 40773个样本，总字节数6293796356.189
  • 测试集: 40853个样本，总字节数7165218289.408
• 下载大小: 78346523702字节
• 数据集大小: 69252689018.225字节

3. 印地语 (hi)

• 特征:
  • 音频 (audio)
  • 转录文本 (transcription)
• 分割:
  • 训练集: 877604个样本，总字节数213699256456.296
  • 验证集: 110692个样本，总字节数27583551082.248
  • 测试集: 108492个样本，总字节数25110580660.236
• 下载大小: 269912939092字节
• 数据集大小: 266393388198.78字节

4. 卡纳达语 (kn)

• 特征:
  • 音频 (audio)
  • 转录文本 (transcription)
• 分割:
  • 训练集: 278766个样本，总字节数54770494386.876
  • 验证集: 34726个样本，总字节数7864058142.98
  • 测试集: 35166个样本，总字节数7572538417.28
• 下载大小: 74257809304字节
• 数据集大小: 70207090947.136字节

5. 马拉雅拉姆语 (ml)

• 特征:
  • 音频 (audio)
  • 转录文本 (transcription)
• 分割:
  • 训练集: 467414个样本，总字节数71262913087.942
  • 验证集: 58985个样本，总字节数7751159979.48
  • 测试集: 59230个样本，总字节数8930337765.4
• 下载大小: 99439381074字节
• 数据集大小: 87944410832.82199字节

6. 马拉地语 (mr)

• 特征:
  • 音频 (audio)
  • 转录文本 (transcription)
• 分割:
  • 训练集: 505639个样本，总字节数125894833883.753
  • 验证集: 63407个样本，总字节数14280421505.308
  • 测试集: 63397个样本，总字节数15230198579.815
• 下载大小: 147608513634字节
• 数据集大小: 155405453968.876字节

7. 旁遮普语 (pa)

• 特征:
  • 音频 (audio)
  • 转录文本 (transcription)
• 分割:
  • 训练集: 41874个样本，总字节数11549437955.164
  • 验证集: 5311个样本，总字节数1317876276.359
  • 测试集: 5139个样本，总字节数1453641173.132
• 下载大小: 13966090670字节
• 数据集大小: 14320955404.654999字节

8. 梵语 (sa)

• 特征:
  • 音频 (audio)
  • 转录文本 (transcription)
• 分割:
  • 训练集: 11532个样本，总字节数6219394271.104
  • 验证集: 1408个样本，总字节数718650848.144
  • 测试集: 1474个样本，总字节数752806235.026
• 下载大小: 7321556791字节
• 数据集大小: 7690851354.274字节

9. 泰米尔语 (ta)

• 特征:
  • 音频 (audio)
  • 转录文本 (transcription)
• 分割:
  • 训练集: 429417个样本，总字节数101739123587.681
  • 验证集: 54012个样本，总字节数12903430948.456
  • 测试集: 53827个样本，总字节数12724306851.984
• 下载大小: 126128595816字节
• 数据集大小: 127366861388.12099字节

10. 泰卢固语 (te)

• 特征:
  • 音频 (audio)
  • 转录文本 (transcription)
• 分割:
  • 训练集: 155322个样本，总字节数33158344172.292
  • 验证集: 19501个样本，总字节数4085414503.579
  • 测试集: 19189个样本，总字节数4173443926.076
• 下载大小: 43278403108字节
• 数据集大小: 41417202601.94701字节

标签

• 音频
• 转录文本
• AI4Bharat
• Shrutilipi