KBQA

该数据集支持知识图谱多跳问答任务，旨在通过LLM-KG协同策略解决组合泛化缺口问题。项目核心围绕TransferNet模型展开，利用MetaQA知识图谱原始数据及生成的合成QA数据进行训练和评估。数据内容包括预处理数据、合成QA（V1模板/自然语言，V2版本）以及MetaQA原始数据与知识库。实验结果显示，通过合成数据增强，2-hop问答准确率从0.04%提升至3.34%，验证了方法的可行性。数据集适用于知识图谱问答系统的研究与开发，特别是多跳推理场景。

原始信息汇总

数据集概述：KBQA

基本信息

• 数据集名称：KBQA
• 数据来源：基于 TransferNet (EMNLP 2021) 的知识图谱多跳问答
• 核心问题：解决知识图谱模型在组合泛化上的缺口（如模型见过 X→director→? 和 director→birthplace→?，但未见过组合的 X→director→birthplace→?）

核心方法：Agent-KG 协同自进化

通过两种 LLM 协同策略弥补组合泛化缺口：

策略	做法	LLM 位置	推理速度	目标
L1: Test-Time Cascade	TransferNet 无法回答时询问 LLM	推理时	中	2-hop 准确率 >50%
L2: Train-Time Synth	LLM 生成合成数据训练 TransferNet	训练时	快	2-hop >50%, 3-hop >20%

数据目录结构

data/ ├── input/ # 预处理数据 (vocab, glove, pt) ├── synth_qa/ # 合成 QA (V1 template/natural, V2) └── raw/MetaQA/ # MetaQA 原始数据 + KB

实验结果 (Train-Time Synth on MetaQA)

实验	Overall	1-hop	2-hop	3-hop
L0 (仅 1-hop 训练)	18.34%	48.64%	0.04%	16.30%
C4 (+ 合成 2-hop V2)	17.62%	43.17%	3.34%	14.69%
C5 (+ 合成 2+3-hop V2)	17.55%	48.29%	0.05%	14.35%

关键发现：C4 实验在 2-hop 任务上准确率从 0.04% 提升至 3.34%（提升约 83 倍），验证了合成数据增强方向的可行性。

关联资源

• 基础模型：TransferNet (EMNLP 2021) - Shi et al.
• 基础数据集：MetaQA - Zhang et al., "Variational Reasoning for QA with KG", AAAI 2018
• 许可协议：MIT

搜集汇总

数据集介绍

构建方式

KBQA数据集基于MetaQA知识图谱构建，通过Agent-KG协同自进化策略生成合成数据以增强模型的多跳问答能力。该过程利用TransferNet作为核心模型，采用两种互补方式：一是测试时自适应（Test-Time Cascade），在推理阶段当模型遇到不熟悉的关系组合时，由LLM提供即时答案；二是训练时合成数据增强（Train-Time Synth），由LLM生成包含多跳逻辑关系的合成问答对，用于训练TransferNet，使其学会处理未见过的关系链。合成数据覆盖2跳和3跳问题，确保模型能够应对组合泛化挑战。

特点

该数据集最具特色的地方在于其通过LLM与知识图谱协同进化来解决组合泛化缺口。数据集中包含不同跳数（1-hop、2-hop、3-hop）的问答对，其中合成数据通过V1/V2模板生成，兼具自然语言多样性。实验数据突出显示，添加合成2-hop数据后，模型在2-hop查询上的准确率从0.04%跃升至3.34%，提升超过80倍。数据目录结构明晰，提供预处理输入、合成问答以及原始MetaQA知识图谱，便于快速复现与深入分析。

使用方法

数据集的使用流程从数据合成开始，运行`synthesis/synth_data.py`生成增强的问答对。随后利用`experiments/train_v2_fixed.py`脚本对TransferNet模型进行训练，训练时可组合使用合成数据与真实数据。推理阶段，采用`cascade/cascade_v4.py`实现测试时自适应，该代码支持多轮对话并在模型信心不足时向LLM发起查询。整个工作流程通过清晰的代码模块化组织，从合成、训练到评估均提供现成脚本，显著降低了使用门槛。

背景与挑战

背景概述

KBQA数据集构建于2021年，源自EMNLP发表的TransferNet模型研究，由相关研究团队基于MetaQA知识图谱开发，聚焦于知识图谱多跳问答任务。该数据集旨在评估模型在知识图谱上进行多跳推理的能力，核心研究问题是如何克服组合泛化缺口——即模型能独立处理单跳关系（如X→director或director→birthplace），却难以组合这些关系完成两跳及以上推理（如X→director→birthplace）。通过引入LLM-KG协同自进化机制，分别采用测试时级联与训练时合成数据策略，KBQA为知识图谱问答领域提供了新的基准与方法探索，推动了多跳推理技术在实际应用中的发展。

当前挑战

KBQA所面临的领域挑战在于知识图谱多跳问答中组合泛化能力的缺失，传统模型在训练中仅见过单跳或局部路径，难以泛化至未见过的多跳组合，导致两跳及以上准确率极低（如仅0.04%）。构建过程中的挑战则包括：合成数据策略虽能在两跳任务上实现83倍提升，但效果仍远低于真实全量数据训练的基线（100%），三跳任务提升有限甚至出现下降；同时，如何设计LLM与KG模型的高效协同机制，在保证推理速度的前提下提升复杂路径的推理精度，成为平衡性能与计算成本的关键难题。

常用场景

经典使用场景

KBQA数据集作为知识图谱多跳问答研究的基准平台，其经典应用场景聚焦于评估模型在复杂逻辑推理任务上的表现。该数据集通过组织多跳查询路径，检验模型能否串联多个关系，例如从实体出发经过导演再到出生地的两跳推理。研究者往往借此探究组合泛化能力，即模型能否在训练中未曾见过的关系组合下依然做出正确推断。这一场景为神经符号推理、图神经网络以及大语言模型在结构化知识上的表现提供了标准化的测试环境，成为推动多跳问答技术发展的重要实验场域。

衍生相关工作

从KBQA数据集衍生出的一系列经典工作，深刻影响了知识推理与问答交叉领域的研究方向。其中TransferNet作为核心基线模型，创新性地采用可微分的转移矩阵实现多跳路径追踪，奠定了端到端推理的基础框架。后续工作如Variational Reasoning通过变分推断处理知识图谱的不确定性，而基于大语言模型的协同方法则开辟了LLM-KG混合推理的新范式。合成数据增强与测试时级联策略的引入，催生了Agent-KG协同自进化等前沿概念，推动该领域从单纯模型优化转向更智能的系统级协同推理，构建起从静态训练到动态自适应的完整技术谱系。

数据集最近研究

最新研究方向

当前知识图谱问答（KGQA）领域的前沿探索聚焦于如何弥合组合泛化鸿沟，即模型虽能处理原子性关系路径，却难以在未见过的多跳组合上泛化。为此，研究者引入大语言模型（LLM）与知识图谱（KG）协同自进化框架，通过测试时级联与训练时合成数据增强两大策略，赋予传统神经符号模型如TransferNet以组合外推能力。这一方向紧密关联今年来大模型推理能力与结构化知识融合的热潮，尤其在LLM幻觉问题凸显的背景下，LLM-KG双引擎范式为高精度可解释问答提供了新出路。实验表明，合成2跳数据即可使模型在未见过的2跳问题上实现83倍提升，尽管绝对值仍低于全监督基线，却验证了数据增强降低组合泛化缺口的技术可行性，为构建无需海量标注的鲁棒KGQA系统奠定了方法论基础。