WuDaoCorpus2.0_base_200G

WUDAO data used for CoreTech_LLM Continuous Pre-Training.

搜集汇总

背景与挑战

背景概述

WuDaoCorpus2.0_base_200G是悟道系列的一个200GB规模的中文文本预训练数据集，适用于语言建模任务。该数据集采用Apache 2.0开源许可证，公开可用，由用户lweiranl上传至OpenXLab平台，标签包含文本、预训练和语言建模。