遇见数据集

wikipedia-monthly

收藏
OpenCSG2025-07-19 更新2026-06-13 收录
官方服务:

资源简介:

Wikipedia Monthly提供多语言维基百科文章文本数据,每篇文章包含唯一ID、URL、标题和经过清洗的纯文本内容。截至2025年12月,该仓库收录了339种语言的5470万篇文章,所有导出版本总计涵盖358种语言的1.754亿篇文章,其中英文数据集训练集约700万条,大小约15.7GB。数据集提供文章的结构化元信息,不含额外的人工标注标签。数据每月从官方维基媒体转储服务器自动化获取,并经过筛选、解析MediaWiki标记以提取和标准化纯文本内容。该数据集主要支持自然语言处理任务,特别是文本生成,并遵循CC-BY-SA-4.0许可协议。

提供机构:
AIWizards
创建时间:
2025-07-19
二维码
社区交流群
二维码
科研交流群
商业服务