kp7742/YALM-pretrain5-60M
收藏Hugging Face2025-06-29 更新2025-10-25 收录
下载链接：
https://hf-mirror.com/datasets/kp7742/YALM-pretrain5-60M
下载链接
链接失效反馈官方服务：
资源简介：
YALM预训练数据-5是一个包含英语（70%）、印地语（20%）、数学（5%）和Python代码（5%）的数据集，这些数据来自不同的来源，用于语言建模任务和YALM（Yet Another Language Model）的开发。总样本数为59M，大约有36B个token，使用了2048上下文的样本打包。测试集包含6k个样本。
The YALM Pretraining Data - 5 is a mix of English (70%), Hindi (20%), Math (5%), and Python Code (5%) sourced from various origins for the language modeling task and the development of YALM (Yet Another Language Model). It contains a total of 59M samples, approximately 36B tokens with sample packing at 2048 Context. The test split includes 6k samples.
提供机构：
kp7742
