InferWiki

InferWiki是一个用于知识图谱补全（KGC）的数据集，旨在通过推理从现有知识中预测缺失链接。该数据集由南洋理工大学和清华大学合作创建，通过规则引导的训练/测试生成方法，确保每个测试样本都可从训练集中推理得出。InferWiki不仅遵循开放世界假设，还通过手动注释的负例和未知三元组提高了推理难度。数据集包含多种推理模式，如推理路径长度和类型，适用于全面的评估。InferWiki的应用领域包括推荐系统和信息提取，旨在解决知识图谱的不完整性问题，推动下游应用的发展。

InferWiki is a dataset for knowledge graph completion (KGC), designed to predict missing links by reasoning over existing knowledge. Co-developed by Nanyang Technological University and Tsinghua University, it adopts a rule-guided train/test generation approach to ensure that every test sample can be inferred from the training set. InferWiki not only adheres to the Open World Assumption (OWA), but also elevates the difficulty of reasoning by incorporating manually annotated negative examples and unknown triples. The dataset encompasses diverse reasoning patterns, including the length and type of reasoning paths, making it suitable for comprehensive evaluations. The application domains of InferWiki include recommendation systems and information extraction, with the objective of addressing the incompleteness of knowledge graphs and advancing the development of downstream applications.

搜集汇总

数据集介绍

构建方式

在知识图谱补全领域，传统数据集常因随机划分训练与测试三元组而引入非可推断样本，导致评估失真。InferWiki采用规则引导的构建范式，从根本上保障了测试样本的可推断性。该方法首先从大规模Wikidata三元组中利用AnyBURL挖掘高置信度逻辑规则，随后将这些规则应用于另一独立三元组集合，生成前提三元组作为训练集、结论三元组作为测试集。为确保推理模式的多样性与平衡性，构建过程还包含路径扩展、负例补充及模式均衡化步骤，并通过人工标注将测试三元组细分为正例、负例与未知类别，从而同时支持闭世界与开世界假设下的评估。

特点

InferWiki的核心特征在于其系统性地提升了知识图谱补全任务的推断严谨性与评估全面性。数据集通过规则引导的构建机制，确保每个测试三元组均能从训练数据中找到支持性推理路径，避免了传统数据集中常见的非可推断或无意义测试样本。其独特之处在于首次大规模引入了开世界假设下的评估框架，提供了人工标注的正例、负例与未知三元组，使模型能够区分“错误”与“未知”的认知边界。此外，数据集精心涵盖了多样化的推理模式，包括不同长度的推理路径、多种关系类型以及对称、逆反、层次与组合等关系模式，并通过均衡化处理减少了评估偏差，为模型推理能力的多维度量提供了坚实基础。

使用方法

InferWiki为知识图谱补全研究提供了标准化的评估基准，主要支持链接预测与三元组分类两大任务。在链接预测任务中，模型需对给定查询（如 (?, r, t) 或 (h, r, ?)）的缺失实体进行排序，评估指标包括平均倒数排名与命中率。三元组分类任务则要求模型对完整三元组进行正例、负例或未知类别的判别，在闭世界假设下简化为二分类，在开世界假设下则为三分类，可采用准确率、精确率、召回率等指标进行度量。研究人员可通过其GitHub仓库获取数据集，并参照提供的基准实验设置，在统一框架下比较不同模型在多种推断模式与假设下的性能，从而深入分析模型在复杂推理、长路径依赖及未知知识识别等方面的能力。

背景与挑战

背景概述

知识图谱补全领域长期面临基准数据集质量参差不齐的挑战，InferWiki数据集应运而生，由南洋理工大学与清华大学的研究团队于2021年联合构建。该数据集旨在解决传统知识图谱补全基准中存在的推理能力评估不足、假设条件单一及模式覆盖有限等核心问题。通过从Wikidata中提取高质量三元组，并采用规则引导的构建方法，InferWiki确保了测试样本均可从训练数据中推理得出，显著提升了评估的可靠性与科学性。其创新性地引入开放世界假设下的未知三元组标注，以及对多样化推理模式的系统覆盖，为知识推理模型提供了更严谨、全面的评估平台，推动了知识图谱补全研究向更深层次的推理能力迈进。

当前挑战

InferWiki数据集致力于应对知识图谱补全领域的双重挑战。在领域问题层面，传统数据集常因随机划分导致测试三元组无法从训练数据中推理，或仅包含封闭世界假设下的简单负例，难以评估模型对复杂推理模式（如多跳路径、对称关系）的处理能力及开放世界中的未知判断能力。在构建过程中，研究团队需克服规则挖掘的质量控制难题，确保引导数据划分的规则集兼具高置信度与多样性；同时，手动标注未知三元组需平衡标注一致性，避免主观偏差；此外，在扩展推理路径长度、平衡不同关系模式分布时，需精心设计算法以维持数据集的难度与公平性，避免特定模式过度集中导致的评估偏差。

常用场景

经典使用场景

在知识图谱补全领域，InferWiki数据集被广泛用于评估模型在复杂推理场景下的性能。该数据集通过规则引导的构建方法，确保每个测试三元组都能从训练数据中推导得出，从而为模型提供了严格的推理能力测试平台。其经典使用场景包括链接预测和三元组分类任务，特别是在需要处理多跳推理、关系模式多样性以及开放世界假设的情境中，InferWiki能够全面检验模型从已有知识中推断新知识的能力。

实际应用

在实际应用中，InferWiki数据集为知识驱动型系统提供了高质量的基准测试环境。例如，在智能推荐系统中，模型需要基于用户历史行为推断潜在兴趣，InferWiki的推理路径模拟了这种从已知到未知的推导过程。在信息抽取和问答系统领域，该数据集帮助评估模型在复杂关系网络中的推理准确性，确保系统能够处理真实世界中知识不完整和动态变化的挑战。此外，其开放世界假设下的评估框架为自动驾驶、医疗诊断等安全关键领域提供了模型不确定性评估的参考。

衍生相关工作

InferWiki数据集衍生了一系列重要的研究工作，主要集中在知识图谱推理模型的创新与评估方法的深化。例如，基于InferWiki的开放世界评估启发了对模型未知知识识别能力的研究，推动了如BoxE等新型嵌入模型的发展。同时，该数据集的多模式推理需求促进了结合规则学习与神经网络的方法探索，如将AnyBURL等规则挖掘工具与深度学习模型融合。此外，InferWiki的构建方法论也被应用于改进其他知识图谱数据集，如CoDEx的推理增强版本，进一步推动了领域内基准数据集的标准化与质量提升。