jeggers/ifqa

IfQA是一个开放领域的问答数据集，包含3,800个由众包工人标注的问题，每个问题都是基于一个通过if子句表达的反事实假设。例如，如果洛杉矶位于美国东海岸，那么洛杉矶和巴黎之间的时差会是多少？这种类型的问题要求模型不仅能够从网络上检索直接的事实知识，还需要能够识别正确的信息并进行推理，以应对可能与其内置参数中的事实相悖的想象情境。

原始信息汇总

IfQA Counterfactual Reasoning Benchmark

概述

• 发布机构: Allen Institute for AI
• 发布年份: 2023
• 数据集来源: EMNLP-2023 论文 "IfQA: A Dataset for Open-domain Question Answering under Counterfactual Presuppositions"
• 许可证: ODC-BY

数据集详情

• 类型: 开放领域问答数据集
• 问题数量: 3,800 个
• 特点: 每个问题均基于一个通过“if”子句表达的反事实前提，由众包工作者标注。
• 示例问题: 如果洛杉矶位于美国东海岸，洛杉矶和巴黎之间的时间差是多少？

数据集用途

• 目的: 评估模型在反事实前提下的问答能力，要求模型不仅从网络中检索直接的事实知识，还需识别正确的信息并推理一个可能与事实相悖的想象情境。