multilingual-tinystories

Multilingual TinyStories 是一个包含多种印度语言儿童故事的数据集，专为语言模型训练而生成。数据集涵盖17种印度语言，包括阿萨姆语、多格里语、古吉拉特语、卡纳达语、马拉雅拉姆语、曼尼普尔语、尼泊尔语、奥里亚语、旁遮普语、梵语、桑塔利语、信德语、泰米尔语、泰卢固语和乌尔都语等。总共有132,942个故事，93,909,863个标记。每个故事以原生脚本存储，并配有唯一的索引标识符。数据集适用于小型语言模型训练、多语言语言模型研究、跨语言迁移学习和教育应用。数据通过语言模型生成，经过清理以确保内容适合儿童阅读，但可能存在文化或语言上的不准确之处。数据集采用CC-BY-4.0许可。