EXOROBOURII/WikiLoL-Epoch-20260503

WikiLoL是一个确定性的、结构化的边列表提取数据集，专注于英语维基百科的列表生态系统。它不提取叙事性维基文本，而是隔离人类用于分层分类概念的显式路由机制，提取维基百科“列表的列表”、标准维基表格和项目符号索引的底层抽象语法树（ASTs）。这些数据编译成一个巨大的二分图，将策划的索引页面连接到其目标实体，并最终投影为一个单部语义共现矩阵。该数据集基于2026年5月3日获取的英语维基百科转储进行静态提取，旨在提供一个数学上稳定的基线，用于可重复研究，确保在纵向研究中邻接矩阵不会发生变化。license: CC BY-SA 4.0 任务类别： - 图机器学习（graph-ml） - 表格分类（tabular-classification） 语言： - 英语 标签： - 维基百科（wikipedia） - 拓扑学（topology） - 边列表（edge-list） - NetworkX - 二分图（bipartite-graph） - 结构对齐（structural-alignment） - casei 展示名称：WikiLoL（Wiki 嵌套列表） 大小分类： - 10M<n<100M # WikiLoL-Epoch-20260503：Wiki 嵌套列表 ## 重要提示 本数据集的一项或多项衍生分析存在负面结果，需开展人工干预以避免下游任务被污染，直至完成修复与更新。核心数据未受影响。 ## 数据集描述 **WikiLoL** 是针对英文维基百科列表生态系统的确定性结构化边列表（edge-list）提取产物。 本数据集并未提取叙事性维基文本，而是剥离出人类用于对概念进行层级分类的显式路由机制，提取了维基百科“列表嵌套页面”、标准维基表格（wikitables）以及项目符号索引的底层抽象语法树（Abstract Syntax Trees, ASTs），最终编译为一张连接精选索引页面与其目标实体的大规模二分图（bipartite graph），并进一步投影为单模态语义共现矩阵。 **时间漂移与可复现性**： 本数据集是对2026年5月3日的英文维基百科备份的静态提取结果。维基百科的内部拓扑结构极具动态性，WikiLoL刻意冻结在该时间节点，旨在为可复现研究提供数学上稳定的基准。将该图嵌入向量空间或训练图神经网络（Graph Neural Networks）的研究人员可确保，在纵向研究中邻接矩阵不会发生偏移。 ## 仓库构件 ### 1. 核心拓扑结构 * `wikilol_dataset.parquet`（1.95 GB）：涵盖全部311,862个源列表的原始未嵌套AST JSON提取结果。 * `wikilol_edgelist_canonical.parquet`（237.39 MB）：包含1540万条无权重`[源 -> 目标]`基线二分映射边列表。 * `wikilol_edgelist_taxonomic.parquet`（238.35 MB）：增强版边列表，包含布尔路由标记`target_is_list`、`target_is_internal`，用于追踪1度列表生态系统。 ### 2. 节点特征矩阵 * `wikilol_node_features.parquet`（137.12 MB）：计算得到的特征表，包含所有630万个目标节点的入度、出度、全局PageRank、HITS分解（枢纽/权威值）以及跨域桥接分数（香农熵（Shannon entropy））。 * `wikilol_adjacency.npz`（31.71 MB）与`wikilol_node_index.json`（226.79 MB）：包含1540万条边的二分压缩稀疏行（CSR）矩阵及其整数到文本的映射表。 * `wikilol_cooccurrence.parquet`（11.98 GB）与`wikilol_entity_index.json`（220.30 MB）：包含43亿条边的`[节点A, 节点B, 权重]`上三角单模态网格，用于计算目标实体间的共享列表邻近度。 * `wikilol_list_similarity.parquet`（253.42 MB）与`wikilol_list_index.json`（6.10 MB）：用于计算列表页面之间共享实体重叠度的单模态矩阵。 ### 3. 领域子图 基于全局类别分布预分区的拓扑结构，支持孤立网络分析： * `subgraphs/wikilol_subgraph_stem.parquet` * `subgraphs/wikilol_subgraph_history.parquet` * `subgraphs/wikilol_subgraph_geography.parquet` * `subgraphs/wikilol_subgraph_popculture.parquet` * `subgraphs/wikilol_subgraph_sports.parquet` ### 4. 审核与模式日志 * `wikilol_macrotopology.json`（<1 MB） * `wikilol_structuraldensity.json`（<1 MB） * `wikilol_globaltaxonomy.json`（<1 MB） * `wikilol_sectionschema.json`（<1 MB） * `wikilol_sectionschema_exhaustive.csv`（6.96 MB） * `WikiLoLParser_Log.json`（<1 MB） ## 预期用途 本数据集专为AI对齐研究、网络分析与结构工程设计。 * **空间推理评估**：提供确定性的真实世界地图，用于测试大语言模型能否在不依赖Token邻近度记忆的情况下导航概念层级。 * **领域专属图论建模**：利用子图在无跨域污染的情况下针对孤立领域训练模型。 ## 明确的局限性与结构异常 * **无叙事文本**：本数据集无法用于训练生成式问答模型，仅包含结构化地址与实体名称。 * **模板排除**：底层`mwparserfromhell`实现仅提取标准维基表格与列表标记，高度定制化的维基模板（例如大型立法导航框）会被跳过，这会导致孤立的“汇节点”——拥有大量入站PageRank但无出站边。研究人员在归一化邻接矩阵时需考虑这一点。 ## 作者信息 由Exorobourii LLC提取并编译，用于核心架构效率与大语言模型对齐方向的独立研究。