drt/kqa_pro|知识库问答数据集|推理能力数据集

KQA Pro是一个大规模的知识库复杂问答数据集，问题多样且具有挑战性，需要多种推理能力，包括组合推理、多跳推理、定量比较、集合操作等。每个问题都提供了SPARQL和程序的强监督。数据集支持基于知识图谱的问答任务，并提供了SPARQL和程序。数据集的语言为英语，结构包括训练集、验证集和测试集，格式为JSON。此外，数据集还提供了知识图谱文件的格式、如何运行SPARQL和程序、如何提交测试集结果、许可证信息、引用信息和贡献者信息。

原始信息汇总

数据集概述

数据集名称

• 名称: KQA-Pro

数据集特征

• 语言: 英语
• 许可证: MIT
• 多语言性: 单语
• 大小: 10K<n<100K
• 源数据集: 原始
• 标签: 知识图谱, Freebase
• 任务类别: 问答
• 任务ID: open-domain-qa

注释创建者

• 机器生成
• 专家生成

数据集描述

数据集总结

• 描述: KQA Pro是一个大规模的知识库复杂问答数据集，包含多样且具有挑战性的问题，需要多种推理能力，如组合推理、多跳推理、定量比较、集合操作等。每个问题都提供了SPARQL和程序的强监督。

支持的任务和排行榜

• 支持任务: 知识图谱基础的问答
• 特点: 为每个问题提供SPARQL和程序

数据集结构

数据配置

• 配置: train_val 和 test

数据分割

• 分割: 训练集, 验证集, 测试集

数据文件格式

• 训练集/验证集: 包含问题、SPARQL、程序、选项和答案
• 测试集: 包含问题和选项

附加信息

知识图谱文件

• 文件: kb.json
• 格式: 包含概念、实体及其属性和关系

如何运行SPARQL和程序

• 实现: 在代码库中实现，包括SPARQL解析器和程序解析器

如何提交测试集结果

• 提交方式: 通过电子邮件发送预测答案文件，并提供模型信息

许可证信息

• 许可证: MIT License

引用信息

• 引用格式:

@inproceedings{KQAPro, title={{KQA P}ro: A Large Diagnostic Dataset for Complex Question Answering over Knowledge Base}, author={Cao, Shulin and Shi, Jiaxin and Pan, Liangming and Nie, Lunyiu and Xiang, Yutong and Hou, Lei and Li, Juanzi and He, Bin and Zhang, Hanwang}, booktitle={ACL22}, year={2022} }