CogComp/mc_taco

MC-TACO（多选时间常识）数据集包含13k个问答对，要求系统具备时间常识理解能力。每个数据实例包括一个提供上下文信息的句子、一个需要时间常识知识的问题以及多个候选答案。任务被定义为二分类问题，即判断候选答案是否合理。数据集的文本为英文，且没有提供训练数据，只有开发集和测试集。数据集的创建过程包括从MultiRC数据集中随机选择句子，并通过众包方式收集问题和答案。

MC-TACO (Multiple Choice TemporAl COmmonsense) is a dataset of 13k question-answer pairs that require temporal commonsense comprehension. A system receives a sentence providing context information, a question designed to require temporal commonsense knowledge, and multiple candidate answers. The task is framed as binary classification: given the context, the question, and the candidate answer, the task is to determine whether the candidate answer is plausible (yes) or not (no). The dataset includes fields such as sentence, question, answer, label, and category. The creation of the dataset involves crowdsourcing and machine generation, primarily for studying the temporal commonsense understanding of NLP systems.

原始信息汇总

数据集概述

数据集简介

MC-TACO（Multiple Choice TemporAl COmmonsense）是一个包含13k个问题-答案对的数据集，要求系统具备时间常识理解能力。系统接收一个提供上下文信息的句子、一个需要时间常识知识的问题和多个候选答案。多个候选答案可能都是合理的。

支持的任务和排行榜

任务被定义为二元分类：给定上下文、问题和候选答案，任务是确定候选答案是否合理（“是”或“否”）。

性能评估使用两个指标：

• 完全匹配（Exact Match）—— 正确预测所有候选答案的问题的平均数量。
• F1分数—— 比完全匹配更宽松，通过计算预测和真实标签之间的重叠来衡量。

语言

数据集中的文本为英语，对应的BCP-47代码为en。

数据结构

数据实例

一个示例如下： json { "sentence": "然而，最近有建议认为它可能早于Abdalonymus的死亡日期。", "question": "Abdalonymus多久死一次？", "answer": "每两年", "label": "否", "category": "频率", }

数据字段

所有字段均为字符串：

• sentence：基于该句子的上下文
• question：查询某些时间常识知识的问题
• answer：问题的潜在答案（全部小写）
• label：答案是否正确。“是”表示答案正确/合理，“否”表示不正确
• category：问题所属的时间类别（包括“事件顺序”、“事件持续时间”、“频率”、“静态性”和“典型时间”）

数据分割

开发集包含561个问题和3,783个候选答案。测试集包含1,332个问题和9,442个候选答案。

数据集创建

数据集来源

上下文句子从MultiRC数据集中随机选择。每个句子通过Amazon Mechanical Turk进行众包，收集问题和候选答案（包括正确和错误的答案）。

标注过程

数据集的众包构建/标注遵循4个步骤，详见论文的第3节：问题生成、问题验证、候选答案扩展和答案标注。

标注者

付费的众包工作者。

许可证信息

未知

引用信息

bibtex @inproceedings{ZKNR19, author = {Ben Zhou, Daniel Khashabi, Qiang Ning and Dan Roth}, title = {“Going on a vacation” takes longer than “Going for a walk”: A Study of Temporal Commonsense Understanding }, booktitle = {EMNLP}, year = {2019}, }