wikipedia-knowledge

Wikipedia Knowledge Catalogs是一个包含17个基于英文维基百科主题的知识目录的数据集集合。每个目录是一个可移植、只读的参考语料库，包含全文和向量索引，可打包为单个.gezk文件，由Gezel及任何gezk阅读器在离线环境下搜索和引用。同时，每个目录也以Parquet表形式提供，便于数据工具使用。数据集来源于2026年4月1日的英文维基百科快照，采用CC BY-SA 4.0许可。其任务类别为文本检索，语言为英语。数据规模为1M<n<10M，总计1,127,337个文档。每个目录包含两个配置：'documents'（文档表）和'chunks'（块表）。文档表字段包括：id（标识符）、title（标题）、slug（URL友好名称）、summary（摘要）、language（语言）、topic_id（主题ID）、topic_path（主题路径）、chunk_count（块数）、markdown（Markdown格式内容）、source_url（来源URL）、source_revision（来源修订版本）、source_updated_at（来源更新时间）、attribution（归属信息）、aliases（别名）。块表字段包括：chunk_uid（块唯一标识）、document_id（文档ID）、ordinal（序号）、title（标题）、heading_path（标题路径）、heading_text（标题文本）、text（文本内容）、token_count（令牌数）、content_hash（内容哈希）、line_start（起始行号）、line_end（结束行号）、shard_id（分片ID）、embedding（int8向量，需通过x/127反量化）、embedding_bit（阶段1符号位向量）。此外还有topics.parquet文件。此数据集适用于检索增强生成（RAG）、嵌入生成、文本检索等场景。