HotpotQA

displayName: HotpotQA
labelTypes:
- Text
license:
- CC BY-SA 4.0
mediaTypes:
- Text
paperUrl: https://arxiv.org/pdf/1809.09600v1.pdf
publishDate: "2018"
publishUrl: https://hotpotqa.github.io/
publisher:
- Carnegie Mellon University
- Stanford University
- Google AI Research
- University of Montreal
tags:
- Question
- Answering
taskTypes:
- Visual Question Answering
- Multi-hop Question Answering

---
# 数据集介绍
## 简介
HotpotQA 是收集在英语维基百科上的问答数据集，包含大约 113K 众包问题，这些问题的构建需要两篇维基百科文章的介绍段落才能回答。数据集中的每个问题都带有两个黄金段落，以及这些段落中的句子列表，众包工作人员认为这些句子是回答问题所必需的支持事实。
HotpotQA 提供了多种推理策略，包括涉及问题中缺失实体的问题、交叉问题（什么满足属性 A 和属性 B？）和比较问题，其中两个实体通过一个共同属性进行比较等。在少文档干扰设置中，QA 模型有 10 个段落，保证能找到黄金段落；在开放域全维基设置中，模型只给出问题和整个维基百科。模型根据其答案准确性和可解释性进行评估，其中前者被测量为具有完全匹配 (EM) 和 unigram F1 的预测答案和黄金答案之间的重叠，后者关注预测的支持事实句子与人类注释的匹配程度（Supporting Fact EM/F1)。该数据集还报告了一个联合指标，它鼓励系统同时在两项任务上表现良好。

来源：通过迭代查询生成回答复杂的开放域问题
## 引文
```
@article{yang2018hotpotqa,
title={HotpotQA: A dataset for diverse, explainable multi-hop question answering},
author={Yang, Zhilin and Qi, Peng and Zhang, Saizheng and Bengio, Yoshua and Cohen, William W and Salakhutdinov, Ruslan and Manning, Christopher D},
journal={arXiv preprint arXiv:1809.09600},
year={2018}
}

```

## Download dataset
:modelscope-code[]{type="git"}

displayName: HotpotQA
labelTypes:
- 文本
license:
- CC BY-SA 4.0
mediaTypes:
- 文本
paperUrl: https://arxiv.org/pdf/1809.09600v1.pdf
publishDate: 2018年
publishUrl: https://hotpotqa.github.io/
publisher:
- 卡内基梅隆大学
- 斯坦福大学
- 谷歌人工智能研究（Google AI Research）
- 蒙特利尔大学
tags:
- 问题
- 问答
taskTypes:
- 视觉问答（Visual Question Answering）
- 多跳问答（Multi-hop Question Answering）

---
# 数据集介绍
## 简介
HotpotQA是采集自英文维基百科的问答数据集，包含约11.3万个众包构建的问题，此类问题的解答需依托两篇维基百科文章的介绍段落方能完成。数据集中的每个问题均配有两段黄金参考段落，以及经众包人员标注的、用于解答该问题的必需支撑事实句子列表。
HotpotQA涵盖多样化推理场景，包括涉及问题中缺失实体的问题、交叉属性问题（即“满足属性A与属性B的对象是什么？”），以及通过共同属性对两个实体进行对比的比较类问题等。在少文档干扰设置下，问答模型可获得10个候选段落，且其中必然包含黄金参考段落；而在开放域全维基设置中，模型仅能获取问题与完整的维基百科资源。该数据集的评估包含两大维度：其一为答案准确性，通过预测答案与标准答案的完全匹配度（Exact Match, EM）以及单字元F1（Unigram F1）值衡量两者的重叠程度；其二为可解释性，聚焦于预测的支撑事实句子与人工标注内容的匹配程度（支撑事实EM/F1（Supporting Fact EM/F1））。此外，该数据集还设置了联合评估指标，以激励系统同时在两项任务上实现良好表现。

来源：通过迭代查询生成复杂开放域问答的数据集
## 引文

@article{yang2018hotpotqa,
title={HotpotQA: A dataset for diverse, explainable multi-hop question answering},
author={Yang, Zhilin and Qi, Peng and Zhang, Saizheng and Bengio, Yoshua and Cohen, William W and Salakhutdinov, Ruslan and Manning, Christopher D},
journal={arXiv preprint arXiv:1809.09600},
year={2018}
}

## 数据集下载
:modelscope-code[]{type="git"}

搜集汇总

背景与挑战

背景概述

HotpotQA是一个基于英语维基百科的多跳问答数据集，包含约113K众包问题，这些问题需要结合两篇维基百科文章进行推理才能回答。数据集提供黄金段落和支持事实句子，用于评估模型的答案准确性和可解释性，支持少文档干扰和开放域全维基两种设置。