Chinese Wikipedia

该数据集是从中文维基百科收集的大型语料库，包含了17亿个字符，词汇量达到了27,681个。它被用于大规模的预训练任务，旨在生成对话。

This dataset is a large-scale corpus collected from Chinese Wikipedia, containing 1.7 billion characters and a vocabulary size of 27,681. It is employed for large-scale pre-training tasks aimed at generating conversational dialogues.

搜集汇总

背景与挑战

背景概述

该数据集是中文维基百科的最新版本，包含完整的文章内容、元数据、编辑历史、分类和链接信息，文件大小庞大（如文章内容文件超过3GB），数据更新至2026年7月，适用于自然语言处理、知识图谱构建等研究。