kp7742/YALM-pretrain3-122M
收藏Hugging Face2025-04-02 更新2025-08-30 收录
下载链接：
https://hf-mirror.com/datasets/kp7742/YALM-pretrain3-122M
下载链接
链接失效反馈官方服务：
资源简介：
YALM预训练数据集-3是一个包含数学、Python代码和英语、印地语、古吉拉特语多语言数据的混合数据集，用于语言建模任务和YALM语言模型的开发。总样本数约为1.22亿，测试集样本数为2.2万。数据集未随机排序，而是连续拼接。数据集来源于多个子数据集，包括英语、印地语、古吉拉特语文本和Python代码。
The YALM Pretraining Data - 3 is a mix of Math, Python Code and Multilingual Data in English, Hindi, and Gujarati for the Language modeling task and development of YALM (Yet Another Language Model). It contains approximately 122 million total samples and 22 thousand samples in the test split. The dataset is not shuffled but concatenated due to resource constraints.
提供机构：
kp7742
