WuDaoCorpora Text文本预训练数据集

WuDaoCorpora是北京智源人工智能研究院（智源研究院）构建的大规模、高质量数据集，用于支撑大模型训练研究

WuDaoCorpora is a large-scale, high-quality dataset constructed by Beijing Academy of Artificial Intelligence (Zhiyuan Institute) to support the training and research of large models.

搜集汇总

背景与挑战

背景概述

WuDaoCorpora Text文本预训练数据集是由北京智源人工智能研究院构建的大规模、高质量中文数据集，专门用于支持大模型训练研究。该数据集包含5TB文本数据，开源200GB，采用json格式，注重隐私清洗并覆盖教育、科技等50多个行业标签，旨在提供多领域预训练模型的基础数据支撑。