KelvinJiang/freebase_qa|问答系统数据集|知识图谱数据集

FreebaseQA是一个用于开放域事实型问答任务的数据集，基于Freebase知识库。数据集通过匹配Freebase中的主题-谓词-对象三元组与问题-答案对生成，并通过人工注释去除错误匹配。数据集包含28,348个唯一问题，分为训练集（20,358个问题）、开发集（3,994个问题）和测试集（3,996个问题）。每个问题包含原始问题、处理后的问题、语义解析以及答案等信息。

原始信息汇总

数据集概述

数据集名称

• 名称: FreebaseQA
• 别名: FreebaseQA

数据集属性

• 语言: 英语
• 许可证: 未知
• 多语言性: 单语
• 大小类别: 10K<n<100K
• 任务类别: 问答
• 任务ID: open-domain-qa
• 论文代码ID: freebaseqa

数据集结构

• 特征:
  • Question-ID: 字符串类型，表示每个问题的ID。
  • RawQuestion: 字符串类型，表示从数据源收集的原始问题。
  • ProcessedQuestion: 字符串类型，表示经过某些操作处理后的问题，如去除尾随问号和首字母大写。
  • Parses: 字典类型，表示问题的语义解析，包含以下子特征:
    • Parse-Id: 字符串类型，表示每个语义解析的ID。
    • PotentialTopicEntityMention: 字符串类型，表示问题中潜在的主题实体提及。
    • TopicEntityName: 字符串类型，表示问题中主题实体的名称或别名。
    • TopicEntityMid: 字符串类型，表示问题中主题实体的Freebase MID。
    • InferentialChain: 字符串类型，表示从主题实体节点到答案节点的路径，标记为谓词。
    • Answers: 字典类型，表示从该解析中找到的答案，包含以下子特征:
      • AnswersMid: 字符串类型，表示答案的Freebase MID。
      • AnswersName: 列表类型，包含字符串类型，表示原始问题-答案对中的答案字符串。

数据集分割

• 训练集: 20,358个例子，10235375字节
• 测试集: 3,996个例子，1987874字节
• 验证集: 3,994个例子，1974114字节

数据集创建

• 来源数据:
  • 初始数据收集和规范化: 数据集通过匹配琐事类型的问题-答案对与Freebase中的主谓宾三元组生成。对于每个收集的问题-答案对，首先标记问题中的所有实体，并在Freebase中搜索连接标记实体与答案的相关谓词。最后，使用人工标注来移除这些匹配三元组中的假阳性。

引用信息

@inproceedings{jiang-etal-2019-freebaseqa, title = "{F}reebase{QA}: A New Factoid {QA} Data Set Matching Trivia-Style Question-Answer Pairs with {F}reebase", author = "Jiang, Kelvin and Wu, Dekun and Jiang, Hui", booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)", month = jun, year = "2019", address = "Minneapolis, Minnesota", publisher = "Association for Computational Linguistics", url = "https://www.aclweb.org/anthology/N19-1028", doi = "10.18653/v1/N19-1028", pages = "318--323", abstract = "In this paper, we present a new data set, named FreebaseQA, for open-domain factoid question answering (QA) tasks over structured knowledge bases, like Freebase. The data set is generated by matching trivia-type question-answer pairs with subject-predicate-object triples in Freebase. For each collected question-answer pair, we first tag all entities in each question and search for relevant predicates that bridge a tagged entity with the answer in Freebase. Finally, human annotation is used to remove any false positive in these matched triples. Using this method, we are able to efficiently generate over 54K matches from about 28K unique questions with minimal cost. Our analysis shows that this data set is suitable for model training in factoid QA tasks beyond simpler questions since FreebaseQA provides more linguistically sophisticated questions than other existing data sets.", }

AI搜集汇总

数据集介绍

构建方式

FreebaseQA数据集的构建基于将琐事类型的问答对与Freebase中的主谓宾三元组进行匹配。首先，对每个收集到的问答对中的所有实体进行标记，并在Freebase中搜索连接标记实体与答案的相关谓词。随后，通过人工注释去除这些匹配三元组中的假阳性。这种方法使得能够高效地从约28,000个独特问题中生成超过54,000个匹配，且成本较低。

使用方法

FreebaseQA数据集适用于开放域事实问答任务，特别针对结构化知识库如Freebase。用户可以通过加载数据集的JSON文件来访问训练、验证和测试集。每个数据实例包含问题ID、原始问题、处理后的问题以及语义解析信息，包括解析ID、潜在主题实体提及、主题实体名称、主题实体MID、推理链和答案。这些信息有助于模型理解和回答复杂问题。

背景与挑战

背景概述

FreebaseQA数据集由Kelvin Jiang等研究人员于2019年创建，旨在解决开放域事实问答任务中的挑战。该数据集通过将琐事类型的问答对与Freebase中的主谓宾三元组进行匹配，生成了一系列复杂的问答对。主要研究人员包括Kelvin Jiang、Dekun Wu和Hui Jiang，他们的工作在York University完成，目前Kelvin Jiang在University of Waterloo继续相关研究。FreebaseQA的创建不仅丰富了问答系统的训练数据，还为模型提供了更多语言学上复杂的问答对，从而推动了问答技术的发展。

当前挑战

FreebaseQA数据集在构建过程中面临多项挑战。首先，如何高效地将琐事问答对与Freebase中的三元组进行匹配，确保匹配的准确性和覆盖率，是一个技术难题。其次，通过人工标注去除匹配中的假阳性结果，确保数据质量，这一过程既耗时又需要高度专业性。此外，数据集的规模和多样性要求模型具备处理复杂语言结构的能力，这对现有问答系统的性能提出了更高的要求。

常用场景

经典使用场景

在自然语言处理领域，FreebaseQA数据集的经典使用场景主要集中在开放域事实问答任务中。该数据集通过匹配琐事类型的问题与Freebase中的主谓宾三元组，为模型提供了丰富的训练数据。研究者们利用这些数据来训练和评估问答系统，特别是在处理复杂和多步骤推理问题时，FreebaseQA展现了其独特的优势。

解决学术问题

FreebaseQA数据集解决了开放域问答系统中常见的学术研究问题，如复杂问题的处理和多步骤推理。通过提供高质量的问答对和详细的语义解析，该数据集帮助研究者开发出更智能、更准确的问答模型。其对复杂问题的适应性，使得FreebaseQA在推动问答技术进步方面具有重要意义。

实际应用

在实际应用中，FreebaseQA数据集被广泛用于构建智能助手和知识库问答系统。这些系统能够为用户提供快速、准确的信息检索服务，尤其在处理涉及多实体和多关系的复杂查询时表现出色。此外，该数据集还支持开发教育领域的智能辅导系统，帮助学生通过互动问答获取知识。

数据集最近研究

最新研究方向

在知识图谱和问答系统领域，FreebaseQA数据集的最新研究方向主要集中在提升开放域事实问答任务的准确性和效率。研究者们致力于通过改进实体链接和关系抽取技术，增强模型对复杂问题的理解和推理能力。此外，结合多模态数据和跨领域知识融合，以应对知识图谱中信息的不完整性和歧义性，成为当前研究的热点。这些研究不仅推动了问答系统的智能化发展，也为知识图谱的应用提供了新的思路和方法。