gair-prox/RedPajama-pro
收藏Hugging Face2024-09-26 更新2024-12-14 收录
下载链接：
https://hf-mirror.com/datasets/gair-prox/RedPajama-pro
下载链接
链接失效反馈官方服务：
资源简介：
RedPajama-pro数据集是从RedPajama-Data-V2数据集通过ProX精炼框架精炼而来的，包含了大约300亿个高质量令牌，适用于通用语言模型的预训练。
RedPajama-pro is refined from RedPajama-Data-V2 using the ProX refining framework. It contains about 30B high quality tokens, ready for general language model pre-training.
提供机构：
gair-prox
