mc_taco

MC-TACO专注于考察自然语言处理系统的时间常识理解能力。它包含约1.3万个问答对，每个样本由上下文句子、问题和多个候选答案组成，任务是判断候选答案是否合理。数据集中，问题被分为事件持续时间、事件顺序、频率、典型时间和静止性等类别。MC-TACO的数据来源于MultiRC，并通过众包方式收集问题和候选答案，标注人员为母语人士。该数据集主要用于二元分类任务，评估指标为精确匹配和F1值。目前，MC-TACO的授权许可未知。