tasksource/ecqa

---
dataset_info:
features:
- name: q_no
dtype: string
- name: q_concept
dtype: string
- name: q_text
dtype: string
- name: q_op1
dtype: string
- name: q_op2
dtype: string
- name: q_op3
dtype: string
- name: q_op4
dtype: string
- name: q_op5
dtype: string
- name: q_ans
dtype: string
- name: taskA_pos
dtype: string
- name: taskA_neg
dtype: string
- name: taskB
dtype: string
splits:
- name: train
num_bytes: 6458760
num_examples: 7598
- name: validation
num_bytes: 924269
num_examples: 1090
- name: test
num_bytes: 1846056
num_examples: 2194
download_size: 5678604
dataset_size: 9229085
license: cdla-sharing-1.0
task_categories:
- question-answering
language:
- en
---
# Dataset Card for "ecqa"

https://github.com/dair-iitd/ECQA-Dataset
```
@inproceedings{aggarwaletal2021ecqa,
title={{E}xplanations for {C}ommonsense{QA}: {N}ew {D}ataset and {M}odels},
author={Shourya Aggarwal and Divyanshu Mandowara and Vishwajeet Agrawal and Dinesh Khandelwal and Parag Singla and Dinesh Garg},
booktitle="Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)}",
year = "2021",
address = "Online",
publisher = "Association for Computational Linguistics"
}
```

### 数据集信息
#### 数据特征
1. 问题编号（q_no）：数据类型为字符串
2. 问题关联概念（q_concept）：数据类型为字符串
3. 问题文本（q_text）：数据类型为字符串
4. 选项1（q_op1）：数据类型为字符串
5. 选项2（q_op2）：数据类型为字符串
6. 选项3（q_op3）：数据类型为字符串
7. 选项4（q_op4）：数据类型为字符串
8. 选项5（q_op5）：数据类型为字符串
9. 正确答案（q_ans）：数据类型为字符串
10. 任务A正例（taskA_pos）：数据类型为字符串
11. 任务A反例（taskA_neg）：数据类型为字符串
12. 任务B（taskB）：数据类型为字符串

#### 数据划分
- 训练集（train）：占用字节数6458760，包含7598条样本
- 验证集（validation）：占用字节数924269，包含1090条样本
- 测试集（test）：占用字节数1846056，包含2194条样本

#### 元数据详情
- 下载总大小：5678604字节
- 数据集总存储大小：9229085字节
- 许可证：CDLA-Sharing-1.0
- 任务类别：问答（question-answering）
- 支持语言：英语（en）

---

# "ECQA"数据集卡片
项目仓库地址：https://github.com/dair-iitd/ECQA-Dataset

bibtex
@inproceedings{aggarwaletal2021ecqa,
title="面向常识问答的解释：新数据集与模型",
author={Shourya Aggarwal, Divyanshu Mandowara, Vishwajeet Agrawal, Dinesh Khandelwal, Parag Singla, Dinesh Garg},
booktitle="第59届国际计算语言学协会年会及第11届国际自然语言处理联合会议论文集（第1卷：长论文）",
year = "2021",
address = "线上举办",
publisher = "计算语言学协会"
}

原始信息汇总

数据集概述

数据集名称

• ECQA

数据集特征

• q_no: 数据类型为字符串
• q_concept: 数据类型为字符串
• q_text: 数据类型为字符串
• q_op1: 数据类型为字符串
• q_op2: 数据类型为字符串
• q_op3: 数据类型为字符串
• q_op4: 数据类型为字符串
• q_op5: 数据类型为字符串
• q_ans: 数据类型为字符串
• taskA_pos: 数据类型为字符串
• taskA_neg: 数据类型为字符串
• taskB: 数据类型为字符串

数据集划分

• 训练集: 包含7598个示例，占用6458760字节
• 验证集: 包含1090个示例，占用924269字节
• 测试集: 包含2194个示例，占用1846056字节

数据集大小

• 下载大小: 5678604字节
• 数据集总大小: 9229085字节

许可证

• CDLA-Sharing-1.0

任务类别

• 问答

语言

• 英语

搜集汇总

数据集介绍

构建方式

ECQA数据集由印度理工学院德里分校的研究团队构建，旨在为常识问答提供高质量的因果解释。该数据集基于CommonsenseQA中的问题，通过众包方式为每个问题收集了正例解释（支持正确选项的推理）和负例解释（反驳错误选项的推理），并进一步将解释细化为任务A（区分正负解释）和任务B（生成完整解释）两种标注格式。数据分为训练集（7598条）、验证集（1090条）和测试集（2194条），每个样本包含问题编号、概念、文本、五个选项及正确答案等字段，结构严谨且标注规范。

使用方法

使用ECQA数据集时，可通过HuggingFace的datasets库直接加载，指定数据集名称'tasksource/ecqa'即可获得预划分的训练、验证和测试集。研究人员可根据需求选择任务A（基于正负解释的分类任务）或任务B（解释生成任务）进行模型训练与评估。对于任务A，可利用'q_text'、'q_ans'及'taskA_pos'、'taskA_neg'字段构建对比学习或二分类模型；对于任务B，则直接使用'q_text'、'q_ans'和'taskB'字段训练序列到序列模型，如T5或BART，以生成符合常识逻辑的解释文本。

背景与挑战

背景概述

在自然语言理解领域，常识推理一直是衡量机器智能水平的关键试金石。ECQA（Explanations for CommonsenseQA）数据集由印度德里理工学院（IIT Delhi）的研究人员于2021年创建，发表于计算语言学协会年会（ACL-IJCNLP 2021）。该数据集旨在解决常识问答中的解释生成问题，其核心研究问题在于：如何让模型不仅给出正确答案，还能提供合乎逻辑的常识性解释。ECQA基于CommonsenseQA构建，包含约1.1万个样本，每个样本涵盖多个候选答案及对应的正面与负面解释，为常识推理研究注入了可解释性的维度。这一数据集的问世，推动了从单纯关注答案准确性向兼顾推理透明度的范式转变，对问答系统、教育辅助及人机交互领域产生了深远影响。

当前挑战

ECQA数据集所面临的挑战首先体现在领域问题的复杂性上：常识推理本身缺乏严格的形式化边界，模型需要从开放世界的知识库中捕捉隐含的因果与时空关系，这对现有预训练语言模型的泛化能力构成了严峻考验。其次，在数据集构建过程中，研究人员需确保解释的多样性与一致性——为每个问题手工标注正面和负面解释不仅耗时巨大，还需克服标注者主观偏差。此外，数据集的规模（训练集仅7598例）限制了深度模型的学习潜力，而常识知识的动态演进也要求数据集定期更新以保持时效性。最后，如何设计评估指标来量化解释质量，而非仅依赖答案正确率，仍是该领域悬而未决的技术难题。

常用场景

经典使用场景

在常识推理与自然语言理解的研究领域中，ECQA数据集作为一项高质量的基准资源，被广泛用于训练和评估模型对常识性问题的回答能力。该数据集包含约一万个精心设计的问答实例，每个问题均附有五个候选选项及正确答案，特别适用于多选问答任务。研究者通常利用其训练集进行模型微调，并在验证集与测试集上评测模型在常识推理上的表现，从而推动语言模型在复杂语义理解层面的进步。

解决学术问题

ECQA数据集的核心学术贡献在于填补了常识问答中缺乏详细解释标注的空白。传统的常识问答数据集仅关注答案正确性，而ECQA引入了任务A（正向与负向解释）和任务B（完整解释生成），使得模型不仅能给出答案，还能提供合理的推理路径。这解决了模型可解释性不足的难题，为研究如何让语言模型具备类人常识推理能力提供了关键的数据支撑，显著推动了可解释人工智能领域的理论发展。

实际应用

在实际应用中，ECQA数据集训练出的模型可被部署于智能教育、虚拟助手及知识问答系统等场景。例如，在智能辅导系统中，模型不仅能提供正确答案，还能生成易于理解的解释，帮助学生理解问题背后的常识逻辑。此外，在客服机器人中，该数据集赋予模型更强的上下文理解能力，使其能够更自然地回应用户基于常识的复杂查询，从而提升人机交互的流畅性与可信度。

数据集最近研究

最新研究方向

在常识推理与可解释人工智能交叉领域，ECQA数据集正成为推动自然语言理解模型透明化的重要基石。随着大语言模型在复杂问答任务中表现日益突出，如何确保模型不仅输出正确答案，还能生成符合人类认知逻辑的合理解释，成为前沿焦点。ECQA通过提供细粒度的正反例说明与结构化解释标签，支撑了多项关于模型因果推理能力与稳健性的研究，尤其在对抗性攻击检测和知识蒸馏方向上展现出独特价值。该数据集所蕴含的常识知识图谱与问答对的映射关系，也为跨语言迁移学习和少样本推理提供了新的基准，其影响力正从学术评价逐步延伸至工业级对话系统的可信赖性建设。