allenai/wiqa

WIQA数据集V1包含39705个问题，这些问题涉及段落中的扰动和可能的影响。数据集分为训练集、验证集和测试集，分别包含29808、6894和3003个问题。数据集的字段包括问题主干、段落步骤、答案标签、选择项等。

原始信息汇总

数据集概述

数据集名称

• 名称: What-If Question Answering (WIQA)
• ID: wiqa

数据集特征

• 问题结构:
  • question_stem: 字符串类型
  • question_para_step: 字符串列表类型
• 答案相关:
  • answer_label: 字符串类型
  • answer_label_as_choice: 字符串类型
  • choices: 字典类型，包含text和label，均为字符串类型
• 元数据:
  • metadata_question_id: 字符串类型
  • metadata_graph_id: 字符串类型
  • metadata_para_id: 字符串类型
  • metadata_question_type: 字符串类型
  • metadata_path_len: 整数类型（int32）

数据集结构

• 训练集: 29808个样本
• 验证集: 6894个样本
• 测试集: 3003个样本

数据集大小

• 下载大小: 5.24 MB
• 生成数据集大小: 22.40 MB

数据集示例

json { "answer_label": "more", "answer_label_as_choice": "A", "choices": { "label": ["A", "B", "C"], "text": ["more", "less", "no effect"] }, "metadata_graph_id": "481", "metadata_para_id": "528", "metadata_path_len": 3, "metadata_question_id": "influence_graph:528:481:77#0", "metadata_question_type": "INPARA_EFFECT", "question_para_step": ["A male and female rabbit mate", "The female rabbit becomes pregnant", "Baby rabbits form inside of the mother rabbit", "The female rabbit gives birth to a litter", "The newborn rabbits grow up to become adults", "The adult rabbits find mates."], "question_stem": "suppose the female is sterile happens, how will it affect LESS rabbits." }

引用信息

bibtex @article{wiqa, author = {Niket Tandon and Bhavana Dalvi Mishra and Keisuke Sakaguchi and Antoine Bosselut and Peter Clark}, title = {WIQA: A dataset for "What if..." reasoning over procedural text}, journal = {arXiv:1909.04739v1}, year = {2019}, }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，探究因果推理能力的数据集构建需严谨考量。WIQA数据集通过精心设计的流程，围绕段落中的扰动与潜在效应生成问题。其构建基于结构化段落步骤，每个问题均包含假设性扰动，并关联至影响图与元数据标识，确保了数据的内在逻辑连贯性。数据划分涵盖训练、验证与测试集，总计近四万个样本，为模型评估提供了坚实基础。

特点

该数据集在因果推理任务中展现出独特价值，其核心特征在于聚焦“假设性”问题回答。每个样本均包含多步骤段落描述、问题主干及标准化选项，选项设计为“更多”、“更少”或“无影响”三类，便于量化评估。丰富的元数据如问题类型、路径长度等，为深入分析模型推理过程提供了多维视角。数据规模适中，结构清晰，适用于复杂推理任务的基准测试。

使用方法

使用WIQA数据集时，研究者可借助HuggingFace平台直接加载，便捷获取训练、验证与测试分割。数据字段涵盖问题主干、段落步骤、答案标签及选择项，可直接用于多选问答模型的训练与评估。典型应用包括训练模型理解段落中的因果链，并预测扰动带来的效应变化。通过元数据字段，用户可进一步细分问题类型，进行针对性分析与模型优化。

背景与挑战

背景概述

在自然语言处理领域，推理能力是衡量模型智能水平的关键维度。由艾伦人工智能研究所（Allen Institute for AI）于2019年发布的WIQA（What-If Question Answering）数据集，正是针对程序性文本中的因果推理问题而构建。该数据集由Niket Tandon、Bhavana Dalvi Mishra等研究人员共同创建，核心研究问题聚焦于模型对“假设性”情境的推断能力，即给定一段描述过程的文本，评估模型在扰动发生后预测影响的能力。这一工作推动了可解释推理与因果分析在自然语言理解中的深入探索，为后续研究提供了重要的基准资源。

当前挑战

WIQA数据集旨在解决程序性文本中的因果推理挑战，其核心难题在于模型需理解复杂的事件链条，并准确推断扰动带来的连锁效应。这要求模型不仅具备表层语义理解，还需掌握深层的逻辑与因果关联。在构建过程中，挑战同样显著：如何设计高质量、多样化的扰动情境以确保数据覆盖广泛推理类型；如何标注准确的因果影响以避免主观偏差；以及如何构建清晰的事件步骤序列以支持可追溯的推理过程，这些均是数据集创建中需克服的关键障碍。

常用场景

经典使用场景

在自然语言处理领域，探究因果推理与程序性文本理解是核心挑战之一。WIQA数据集通过构建包含扰动与潜在影响的假设性问题，为模型提供了评估因果链条的经典场景。研究者利用该数据集训练模型分析段落中的事件序列，预测特定变化对后续结果的影响，从而深化对程序性文本中因果关系的建模能力。

衍生相关工作

围绕WIQA数据集，衍生出多项经典研究工作，例如结合图神经网络增强事件链表示，或利用预训练语言模型进行多跳因果推理。这些工作不仅提升了假设性问答的准确率，还推动了因果推理与文本理解的交叉研究，为后续如COPA、CosmosQA等数据集的构建提供了方法论借鉴。

数据集最近研究

最新研究方向

在自然语言处理领域，因果推理与程序文本理解正成为前沿探索的核心议题。WIQA数据集以其独特的“假设性”问题设计，为模型理解事件扰动下的因果效应提供了基准。当前研究聚焦于结合图神经网络与预训练语言模型，以捕捉文本中隐含的因果结构，进而提升模型对复杂程序文本中连锁反应的推理能力。这一方向不仅推动了可解释人工智能的发展，也为教育技术、自动化决策系统等应用场景注入了新的活力，彰显了其在赋能机器深度理解现实世界逻辑层面的深远意义。