five

IndicLLMSuite

收藏
arXiv2024-03-11 更新2024-08-06 收录
下载链接:
http://arxiv.org/abs/2403.06350v1
下载链接
链接失效反馈
官方服务:
资源简介:
一个专为印度语言开发的大型语言模型资源套件,涵盖22种语言,包含2510亿个令牌和7480万个指令-响应对。该数据集结合了精心策划的手动验证数据、未验证但有价值的数据以及合成数据,用于预训练和指令微调。

A large language model (LLM) resource suite developed specifically for Indian languages encompasses 22 languages, boasting a corpus of 251 billion tokens and 74.8 million instruction-response pairs. This dataset integrates carefully curated manually validated data, unvalidated yet valuable data, and synthetic data, and is designed for pre-training and instruction fine-tuning.
创建时间:
2024-03-11
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作