WD15K

数据集WD15K是由清华大学知识工程研究室基于Wikidata构建的，旨在通过可解释的链接预测来评估多跳推理模型的性能。该数据集包含15,817个实体和176,524条三元组，通过将Wikidata中的友好阅读关系与FB15K-237中的实体结合，形成了一个用于训练和测试的混合数据集。创建过程中，研究者们使用了广度优先搜索来收集所有可能的路径，确保了数据集的全面性和多样性。WD15K的应用领域主要集中在知识图谱的多跳推理任务中，旨在解决模型预测结果的可解释性和可靠性问题。

The WD15K dataset, constructed by the Knowledge Engineering Laboratory of Tsinghua University based on Wikidata, is designed to evaluate the performance of multi-hop reasoning models via explainable link prediction. This dataset contains 15,817 entities and 176,524 triples, forming a hybrid dataset for training and testing by combining human-readable relations from Wikidata with entities from FB15K-237. During its construction, researchers used breadth-first search (BFS) to collect all possible paths, ensuring the comprehensiveness and diversity of the dataset. The application scenarios of WD15K are mainly focused on multi-hop reasoning tasks over knowledge graphs, aiming to address the issues of interpretability and reliability of model prediction results.

搜集汇总

数据集介绍

构建方式

WD15K数据集的构建基于Wikidata和广泛使用的FB15K-237数据集。通过利用Wikidata中的可读性强的关系，同时保持FB15K-237中的实体不变，研究者通过Freebase ID属性将两个数据源进行了桥接。最终的数据集WD15K包含了15,817个实体、182种关系和176,524个三元组。数据集被随机分为90%的训练集、5%的验证集和5%的测试集。

使用方法

WD15K数据集主要用于评估多跳推理模型在知识图谱中的解释性。研究者可以通过将测试集中的每个三元组转换为三元组查询，要求模型预测尾实体并给出可能的推理路径。通过计算路径召回率、局部解释性和全局解释性三个指标，可以量化评估模型的解释性。此外，数据集还提供了手动注释和规则挖掘两种方法来获取规则的解释性分数，从而支持更全面的模型评估。

背景与挑战

背景概述

WD15K数据集是由清华大学人工智能研究院（BNRist）和知识智能研究中心（KIRC）的研究团队创建的，旨在解决知识图谱中的多跳推理模型的可解释性问题。该数据集的核心研究问题是如何量化评估多跳推理模型的可解释性，从而推动这些模型的发展。WD15K的创建标志着在知识图谱推理领域对模型可解释性评估的重大进步，为未来的研究提供了基准。

当前挑战

WD15K数据集面临的挑战主要集中在两个方面：一是如何有效评估多跳推理模型的可解释性，这需要定义和计算路径召回率、局部可解释性和全局可解释性等指标；二是构建过程中遇到的挑战，包括路径集合的收集和近似策略的设计，以应对多跳推理可能产生的海量路径。此外，手动标注规则的可解释性评分也面临主观性和标注难度的问题。

常用场景

经典使用场景

WD15K数据集在知识图谱的多跳推理研究中扮演着重要角色。其经典使用场景包括评估多跳推理模型的解释性，通过定义路径召回率、局部解释性和全局解释性等指标，量化模型生成的推理路径的合理性。此外，该数据集还用于训练和验证基于强化学习的多跳推理模型，如MINERVA和MultiHop，以提升模型在知识图谱补全任务中的表现。

解决学术问题

WD15K数据集解决了多跳推理模型在解释性评估方面的学术研究问题。传统上，多跳推理模型主要关注链接预测的性能，而忽视了推理路径的合理性。WD15K通过提供一个统一的框架和手动标注的基准，使得研究者能够量化评估模型的解释性，从而推动了多跳推理模型在解释性和性能上的平衡发展。

实际应用

在实际应用中，WD15K数据集可用于开发和优化知识图谱推理系统，特别是在需要高解释性的场景中，如法律推理、医疗诊断和智能问答系统。通过使用WD15K进行模型训练和评估，可以确保推理路径的合理性，从而提高系统的可信度和用户满意度。

数据集最近研究

最新研究方向

在知识图谱（KG）领域，多跳推理（Multi-hop Reasoning）近年来得到了广泛研究，旨在通过提供可解释的推理路径来增强链接预测的可信度。然而，现有模型在输出路径的合理性方面存在显著不足，这促使研究者们探索如何量化评估多跳推理模型的可解释性。最新研究提出了一种统一的框架，通过定义路径召回率、局部可解释性和全局可解释性三个指标，来系统地评估多跳推理模型的可解释性。此外，研究还构建了一个名为BIMR的基准，通过手动注释和规则挖掘方法生成可解释性评分，以验证当前多跳推理模型在可解释性方面的不足，并指出了未来研究方向，即如何更好地将规则信息融入多跳推理模型中，以提升其性能和可解释性。

相关研究论文

• Is Multi-Hop Reasoning Really Explainable? Towards Benchmarking Reasoning Interpretability

  清华大学 · 2021年