CulturaX
收藏OpenDataLab2026-07-05 更新2024-05-09 收录
下载链接：
https://opendatalab.org.cn/OpenDataLab/CulturaX
下载链接
链接失效反馈官方服务：
资源简介：
We present CulturaX, a substantial multilingual dataset with 6.3 trillion tokens in 167 languages, tailored for large language model (LLM) development
本文提出CulturaX，一款专为大语言模型（Large Language Model，LLM）开发打造的超大规模多语言数据集，涵盖167种语言，总计包含6.3万亿个Token。
提供机构：
OpenDataLab创建时间：
2024-04-30
搜集汇总
数据集介绍
背景与挑战
背景概述
CulturaX是一个为大型语言模型开发准备的多语言数据集，包含167种语言和6.3万亿词元，并经过严格的清洗和去重处理以提高质量。该数据集已公开发布在HuggingFace上，以促进多语言LLM的研究与进展。
以上内容由遇见数据集搜集并总结生成
