EFO_k-CQA

EFO_k-CQA数据集是由香港科技大学知识计算研究组构建的复杂逻辑查询基准，专为评估多变量存在性一阶逻辑查询（EFO_k）的联合排名性能而设计。该数据集基于标准知识图谱扩展而来，涵盖多种查询结构，数据量适中，通过引入更具挑战性的多变量查询模式，系统性地支持对k=3以内复杂推理任务的评估。数据集创建过程通过扩展现有EFO1基准实现，旨在解决知识图谱不完整场景下多变量联合推理的评估瓶颈，为复杂查询回答领域提供可扩展的测试平台。The EFO_k-CQA dataset is a complex logical query benchmark constructed by the Knowledge Computing Research Group of the Hong Kong University of Science and Technology, specifically designed to evaluate the joint ranking performance of multi-variable existential first-order logical queries (EFO_k). This dataset is extended from standard knowledge graphs, covers diverse query structures, and has a moderate scale. By introducing more challenging multi-variable query patterns, it systematically supports the evaluation of complex reasoning tasks where k ≤ 3. The dataset is developed by extending the existing EFO1 benchmark, aiming to address the evaluation bottleneck of multi-variable joint reasoning in incomplete knowledge graph scenarios, and providing a scalable testbed for the field of complex query answering.

原始信息汇总

数据集概述

1. 数据集名称与来源

• 项目名称: NS3 (NS3_KDD2026)
• 官方实现地址: https://github.com/HKUST-KnowComp/NS3_KDD2026
• 所属机构: 香港科技大学知识计算实验室 (HKUST-KnowComp)

2. 数据集内容与结构

• 数据内容: 提供新采样的查询数据（new sampled queries），用于知识图谱上的复杂查询推理任务。
• 数据下载地址: https://drive.google.com/file/d/1UrOMijvCL7OVqDQsYKYQ7ETV-u7nXENO/view?usp=sharing
• 数据文件结构（解压后）：
  • data/KG&queries/
    • kgindex.json
    • train_kg.tsv
    • valid_kg.tsv
    • test_kg.tsv
    • test_type0000_EFO3-small_qaa.json

3. 基准模型与预训练检查点

• 基准模型检查点: 提供六种代表性模型（BetaE, LogicE, ConE, CQD, LMPNN, FIT）在知识图谱上的检查点，下载地址：https://drive.google.com/drive/folders/13S3wpcsZ9t02aOgA11Qd8lvO0JGGENZ2?usp=sharing
  • 解压后放置于 ckpt 文件夹，子文件夹命名示例：ckpt/FB15k-237/ 下包含各模型的 .ckpt 或 .pt 文件。
• NLI 骨干模型检查点: 提供查询嵌入方法和超网络知识图谱嵌入的预训练检查点，下载地址：https://drive.google.com/drive/folders/1xVd-PihAbwi4RE9rmkMGkHtgQLssJZE2?usp=share_link
  • 解压后放置于 pretrain 文件夹，子文件夹示例：pretrain/FB15K-237/ 下包含以下文件：
    • cache_ada.pt：缓存的适应值
    • FB15K-237_best_valid.model：超网络知识图谱嵌入模型
    • lmpnn-FB15K-237.ckpt：LMPNN 模型

4. 依赖与安装

• 包管理工具: Poetry
  • 安装 Poetry：curl -sSL https://install.python-poetry.org | python3 -
  • 安装依赖包：poetry install
  • 若 poetry.lock 文件过旧，使用：poetry update --lock

5. 复现实验结果

• 复现方法: 使用 LMPNN 和 ComplEx 作为骨干模型，支持缓存缩放值和并行化搜索过程。
• 在 Real EFO1 基准上复现实验命令： bash python solve_EFOX_small_NS3.py --batch_size 32 --data_folder data/KG&queries --num_domain 2000 --num_candidate 2000

6. 关键说明

• 当前早期开发阶段未追踪 poetry.lock 文件。
• 所有检查点均基于知识图谱 FB15k-237 提供示例结构。

搜集汇总

数据集介绍

构建方式

在处理知识图谱上复杂的多变量查询时，现有基准多依赖边际排名，无法准确反映多元组联合排序。EFO_k-CQA数据集基于三个标准知识图谱（FB15k、FB15k-237、NELL）构建，通过系统枚举有效查询类型，涵盖简单有向无环图、多边图和循环图等拓扑结构，支持最多三个自由变量的复杂逻辑查询。该数据集扩展了原有的EFO₁数据集，为每种自由变量依赖模式（独立、链式、循环）设计了丰富变体，包括多边和负边版本，最终形成14种查询类型，以捕捉随自由变量增加而增强的结构复杂性。

特点

EFO_k-CQA数据集具有以下显著特点：一是通过多元组联合排序直接评估模型对多自由变量查询的推理能力，克服了传统边际排名代理指标的局限性；二是引入动态预算机制控制候选空间，将指数级增长的联合域缩减为可管理的子集，兼顾推理精度与计算效率；三是覆盖多种查询结构（不相连、链式、循环）及其带有否定和多边算子的变体，全面反映自由变量间不同约束强度；四是提供边际排名和联合排名两套评估体系，可系统比较模型在简化任务与原始任务间的表现差距。

使用方法

研究者可利用该数据集评估复杂查询问答模型在多自由变量场景下的推理性能。使用方式包括：将模型输出的边际排名与数据集提供的硬答案边际集对比，计算HIT@10等标准指标；或在数据集提供的简化联合域上直接计算联合排名，通过HIT@10评估模型的整体推理能力。该数据集还支持对预算参数B进行敏感性分析，调整B值从1k至8k，可观测模型在精度与运行时间间的权衡，便于选择最优推理配置。

背景与挑战

背景概述

知识图谱作为承载结构化语义信息的重要数据形式，在智能问答、信息检索等领域得到广泛应用，然而现实中知识图谱普遍存在不完整性，促使复杂查询回答任务应运而生。2025年，由清华大学、香港科技大学等机构的研究人员联合提出的EFO_k-CQA数据集，聚焦于具有多个自由变量的存在性一阶逻辑查询这一核心研究问题。不同于传统仅支持单变量查询的基准，该数据集首次系统性地评估多变量查询的挑战，并引入了边缘排序、乘法排序和联合排序等多维度评测指标，为知识图谱复杂推理提供更贴近实际应用的评价范式。该数据集的提出标志着复杂查询回答研究从单变量向多变量推理的重要跨越，对推动神经符号学习方法在结构化知识上的可解释推理具有深远影响。

当前挑战

EFO_k-CQA数据集所解决的核心领域问题是如何在知识图谱不完备的条件下，对具有k个自由变量的存在性一阶逻辑查询进行高效推理。传统方法在变量增多时面临候选空间呈指数级增长的计算瓶颈，使得联合排序难以直接求解，现有基准和方法大多依赖边缘排序作为近似，但边缘排序无法捕获变量间的耦合约束，导致排序误差显著放大。在数据集构建过程中，研究人员面临查询类型组合爆炸的挑战，仅k=2时就需要枚举741种有效查询类型，并需处理简单有向无环图、多边图和循环图等多种拓扑结构。此外，构建可扩展的多变量基准时，需设计涵盖独立、链式和循环依赖模式的基础查询结构，并确保在保持评估全面性的同时控制复杂度，这对数据集的系统性和实用性提出了严格要求。

常用场景

经典使用场景

EFO_k-CQA数据集专为知识图谱上的复杂逻辑查询回答任务而设计，其经典使用场景在于评估与推理包含多个自由变量的存在一阶逻辑查询。该数据集突破性地将查询范围从单一自由变量扩展至k个自由变量，要求模型对实体元组进行联合排序而非独立排序，从而更真实地模拟现实世界中诸如团伙欺诈识别、多因素关联分析等需要跨变量联合推理的复杂查询场景。

实际应用

在实际应用中，EFO_k-CQA所针对的多变量查询能力可赋能金融风控与社交网络分析领域。例如，通过查询同时涉及多个交易实体与账户的欺诈模式，可识别出涉及多个可疑账户的异常交易团伙；在生物医药知识图谱中，可检索满足药物相互作用与基因表达联合条件的候选治疗方案，提升复杂关联发现的准确性与效率。

衍生相关工作

该数据集的发布催生了一系列经典工作，其中最具代表性的是NS3框架。NS3利用边际化与合并变换将多变量查询逐步简化为单变量查询，并通过动态预算机制控制联合搜索空间。此外，FIT、CQD等神经符号方法在EFO_k-CQA的推动下得以扩展至多变量场景，而基于图神经网络的消息传递模型LMPNN也被适配用于推导多变量边际答案，促进了可解释推理与高效剪枝技术的融合。