SEACrowd/culturay
收藏Hugging Face2024-06-24 更新2024-06-29 收录
下载链接：
https://hf-mirror.com/datasets/SEACrowd/culturay
下载链接
链接失效反馈官方服务：
资源简介：
CulturaY是一个包含75种语言的大型多语言数据集，大小为15TB（未压缩）/3TB（zstd压缩）。该数据集应用了与CulutraX相同的清洗方法，主要用于自监督预训练任务，并用于训练越南语模型Vistral-7B-Chat。数据集的语言包括缅甸语（mya）、菲律宾语（fil）、马来语（zlm）、越南语（vie）、印尼语（ind）和泰语（tha）。
CulturaY是一个包含75种语言的大型多语言数据集，大小为15TB（未压缩）/3TB（zstd压缩）。该数据集应用了与CulutraX相同的清洗方法，主要用于自监督预训练任务，并用于训练越南语模型Vistral-7B-Chat。数据集的语言包括缅甸语（mya）、菲律宾语（fil）、马来语（zlm）、越南语（vie）、印尼语（ind）和泰语（tha）。
提供机构：
SEACrowd
