allenai/openbookqa

OpenBookQA数据集旨在促进高级问答研究，深入理解主题和语言表达。它包含需要多步推理、使用额外常识和丰富文本理解的问题。数据集分为main和additional两个配置，每个配置包含训练、验证和测试三个分割。数据字段包括问题ID、问题主干、选项、答案键等，additional配置还包含相关事实、人类评分、清晰度评分和匿名工作者ID。数据集的大小在1K到10K之间，语言为英语，任务类别为问答，任务ID为开放域问答。

The OpenBookQA dataset is designed to advance advanced question answering (QA) research and foster in-depth understanding of topics and linguistic expressions. It contains questions that require multi-step reasoning, external common sense utilization, and comprehensive text comprehension. The dataset is split into two configurations: main and additional, each consisting of three splits: training, validation, and test. Its data fields include question ID, question stem, options, answer key, etc. The additional configuration additionally includes supporting facts, human ratings, clarity scores, and anonymous worker IDs. The dataset has a size ranging from 1K to 10K, uses English as its language, belongs to the question answering task category, and its task ID is open-domain QA.

原始信息汇总

数据集概述

数据集名称: OpenBookQA

语言: 英语 (en)

许可证: 未知

多语言性: 单语

大小类别: 1K<n<10K

源数据集: 原始

任务类别: 问答

任务ID: open-domain-qa

论文代码ID: openbookqa

美观名称: OpenBookQA

数据集结构

数据实例

• main配置:

  • id: 字符串类型
  • question_stem: 字符串类型
  • choices: 字典类型，包含text（字符串类型）和label（字符串类型）
  • answerKey: 字符串类型

• additional配置:

  • id: 字符串类型
  • question_stem: 字符串类型
  • choices: 字典类型，包含text（字符串类型）和label（字符串类型）
  • answerKey: 字符串类型
  • fact1: 字符串类型
  • humanScore: 浮点数类型
  • clarity: 浮点数类型
  • turkIdAnonymized: 字符串类型

数据分割

名称	训练	验证	测试
main	4957	500	500
additional	4957	500	500

数据集创建

注释创建者:

• 众包
• 专家生成

语言创建者:

• 专家生成

搜集汇总

数据集介绍

构建方式

OpenBookQA数据集的构建，旨在推进高级问答研究，通过融合主题的深入理解（以开放书籍形式提供的显著事实概要）与表达语言的理解。该数据集包含需要多步骤推理、额外常识知识运用以及丰富文本理解的问题。构建过程中，数据集由众包和专家生成两种方式共同完成注释，涵盖了问题、选项、答案以及相关事实和人类评分等信息。

特点

OpenBookQA数据集的特点在于其设计模拟了开卷考试的形式，以评估人类对某一主题的理解。数据集中的问题不仅需要语言理解，还需结合外部知识和逻辑推理。此外，数据集提供了丰富的事实信息和人类评分，有助于研究者在模型评估时进行更为深入的分析。

使用方法

使用OpenBookQA数据集时，研究者可以根据数据集提供的训练集、验证集和测试集进行模型训练和评估。数据集以JSON格式存储，其中每个实例包含了问题、选项、正确答案以及与问题相关的核心事实等字段。用户需遵循数据集的结构和字段定义进行数据加载和处理，以开展开放域问答等任务的研究。

背景与挑战

背景概述

OpenBookQA数据集，由Allen Institute for Artificial Intelligence（AI2）创建于2018年，主要研究人员包括Todor Mihaylov、Peter Clark、Tushar Khot和Ashish Sabharwal。该数据集的核心研究问题是推动高级问答研究，通过多步骤推理、使用额外的常见知识和丰富的文本理解，评估机器对开放书籍中主题的理解。OpenBookQA模仿开放书籍考试的形式，旨在评估人类对一个学科的理解。该数据集对相关领域产生了重要影响，为开放域问答任务提供了一种新的评估方式。

当前挑战

OpenBookQA数据集在构建过程中遇到的挑战主要包括：如何设计能够涵盖广泛知识面的问题，以及如何确保提供的选项能够有效测试多步骤推理和常识知识。此外，数据集的创建还需克服如何平衡问题的难度和多样性，以及如何保证标注质量等问题。在所解决的领域问题方面，OpenBookQA面临的挑战是如何准确评估模型对于需要综合运用背景知识和文本理解能力的问题的回答能力。

常用场景

经典使用场景

在深入探索开放式问题回答领域的研究中，OpenBookQA数据集以其独特的开放书本考试形式，成为评估机器对学科理解深度的重要资源。该数据集的设计理念在于促使研究深入理解主题相关的关键事实以及语言的表述方式，其经典的使用场景主要集中于多步骤推理、运用常识知识以及丰富的文本理解能力的评估。

实际应用

在实际应用中，OpenBookQA数据集的模型可以被用于开发高级的问答系统，例如在线教育平台中的智能辅导系统，能够对学生的学习理解能力进行更准确的评估，提供更加个性化的学习建议。

衍生相关工作

基于OpenBookQA数据集，学术界已经衍生出一系列相关工作，包括对模型多步骤推理能力的分析、常识知识库的构建与应用，以及如何在机器学习模型中更好地融入人类知识，这些研究进一步推动了人工智能领域的理论进步和技术发展。