OpenBookQA

displayName: OpenBookQA
labelTypes:
- Text
license:
- Apache 2.0
mediaTypes:
- Text
paperUrl: https://arxiv.org/pdf/1809.02789v1.pdf
publishDate: "2018-01-01"
publishUrl: https://allenai.org/data/open-book-qa
publisher:
- Allen Institute for Artificial Intelligence
- Heidelberg University
tags: []
taskTypes:
- Visual Question Answering

---
## 简介
“OpenBookQA 是一种新的问答数据集，它以开卷考试为模型，用于评估人类对学科的理解。它由 5,957 个多项选择的初级科学问题（4,957 个训练，500 个开发，500 个测试）组成，它探讨了对 1,326 个核心科学事实的小“书”的理解以及这些事实在新情况中的应用。对于训练，数据集包括从每个问题到它旨在探索的核心科学事实的映射。回答 OpenBookQA 问题需要书中未包含的其他广泛的常识。这些问题在设计上会被基于检索的算法和单词共现算法错误地回答。此外，数据集包括 5,167 个众包常识的集合事实，以及训练/开发/测试问题的扩展版本，其中每个问题都与其原始核心事实、人类准确性分数、清晰度分数和匿名人群相关联rker ID。”
## 引文

```
"@article{mihaylov2018can,
title={Can a suit of armor conduct electricity? a new dataset for open book question answering},
author={Mihaylov, Todor and Clark, Peter and Khot, Tushar and Sabharwal, Ashish},
journal={arXiv preprint arXiv:1809.02789},
year={2018}
}"
```

## Download dataset
:modelscope-code[]{type="git"}

displayName: 开放书籍问答（OpenBookQA）
labelTypes:
- 文本（Text）
license:
- Apache 2.0
mediaTypes:
- 文本（Text）
paperUrl: https://arxiv.org/pdf/1809.02789v1.pdf
publishDate: "2018-01-01"
publishUrl: https://allenai.org/data/open-book-qa
publisher:
- 艾伦人工智能研究所（Allen Institute for Artificial Intelligence）
- 海德堡大学（Heidelberg University）
tags: []
taskTypes:
- 视觉问答（Visual Question Answering）

---
## 简介
OpenBookQA（开放书籍问答）是一类以开卷考试为范式的新型问答数据集，用于评估人类对学科知识的理解能力。该数据集共包含5957道单项选择型初等科学问题，其中训练集4957道、开发集500道、测试集500道，旨在探究模型对由1326条核心科学事实构成的小型“知识库”的理解能力，以及将这些事实迁移应用至新场景的能力。针对训练样本，数据集提供了每条问题与其所考察的核心科学事实的映射关系。解答OpenBookQA的问题需要依赖知识库未涵盖的广谱常识。该数据集的设计目标之一是使基于检索的算法与词共现算法无法正确作答。此外，数据集还包含5167条由众包标注得到的常识事实，以及训练/开发/测试集的扩展版本：扩展样本均关联了原始核心事实、人类作答准确率评分、问题清晰度评分以及匿名标注者ID。
## 引文

"@article{mihaylov2018can,
title={Can a suit of armor conduct electricity? a new dataset for open book question answering},
author={Mihaylov, Todor and Clark, Peter and Khot, Tushar and Sabharwal, Ashish},
journal={arXiv preprint arXiv:1809.02789},
year={2018}
}"

## Download dataset
:modelscope-code[]{type="git"}

搜集汇总

背景与挑战

背景概述

OpenBookQA是一个基于开放书籍考试设计的问答数据集，包含5,957个多项选择科学问题，用于评估对1,326个核心科学事实的理解及其在新情境中的应用。该数据集还提供了问题与核心事实的映射，以及额外的常识事实，旨在挑战基于检索和词共现的算法。