tasksource/imppres

IMPPRES数据集是一个用于自然语言推理（NLI）任务的诊断数据集，特别关注语用推理（如隐含意义和预设）。该数据集包含32K半自动生成的句子对，用于评估NLI模型在语用推理方面的能力。研究使用IMPPRES数据集评估了BERT、InferSent和BOW等模型在MultiNLI数据集上训练后是否能够进行语用推理。结果表明，BERT能够学习到一些语用推理，而BOW和InferSent在语用推理方面的表现较弱。

原始信息汇总

数据集概述

数据集元数据

• 许可证: Apache-2.0
• 任务类别: 文本分类
• 语言: 英语
• 任务ID: 自然语言推理

数据集内容

• 标题: Are Natural Language Inference Models IMPPRESsive? Learning IMPlicature and PRESupposition
• 作者: Jeretić, Paloma; Warstadt, Alex; Bhooshan, Suvrat; Williams, Adina
• 出版信息:
  • 会议: 第58届计算语言学年会
  • 日期: 2020年7月
  • 出版者: 计算语言学协会
  • 链接: ACL Anthology
  • DOI: 10.18653/v1/2020.acl-main.768
  • 页码: 8690-8705

数据集描述

• 目的: 评估自然语言推理模型在处理含隐含意义和预设的句子对时的表现。
• 数据集: IMPlicature and PRESupposition诊断数据集(IMPPRES)，包含32,000个半自动生成的句子对。
• 模型评估: 使用BERT, InferSent, 和BOW模型进行评估，这些模型均训练于MultiNLI数据集。
• 发现:
  • BERT模型能够进行某些语用推理，如将“some”触发的量级隐含意义视为推断。
  • 对于某些预设触发词如“only”，BERT能够识别其预设为推断，即使在否定等取消推断的操作下。
  • BOW和InferSent模型在语用推理方面表现较弱。

结论

• 自然语言推理训练鼓励模型学习某些，但非全部的语用推理。