copenlu/spanex

SpanEx数据集包含7071个实例，这些实例被标注了短语级别的交互解释，并明确标注了交互类型。数据集由三位注释者标注，为研究人类解释一致性提供了新的视角。SpanEx数据集基于SNLI和FEVER数据集，收集了关于自然语言推理（NLI）和事实核查（FC）任务的跨度交互解释。

原始信息汇总

数据集概述

基本信息

• 许可证: MIT
• 任务类别: 文本分类
• 语言: 英语
• 标签:
  • 理由提取
  • 推理
  • 自然语言推理 (NLI)
  • 事实核查
  • 可解释性
• 名称: SpanEx
• 规模: 1K<n<10K

配置信息

• snli_extended
  • 数据文件:
    • 分割: 测试
    • 路径: snli_extended.jsonl
• fever_extended
  • 数据文件:
    • 分割: 测试
    • 路径: fever_extended.jsonl
• snli
  • 数据文件:
    • 分割: 测试
    • 路径: snli.jsonl
• fever
  • 数据文件:
    • 分割: 测试
    • 路径: fever.jsonl

详细描述

• SpanEx 包含 7071 个实例，用于标注跨度交互。
• SpanEx 是首个具有人类短语级交互解释的数据集，具有明确的交互类型标签。
• 该数据集由三位标注者标注，为研究人类解释一致性开辟了新的途径，这是可解释性文献中一个未被充分研究的领域。
• 研究表明，尽管人类标注者在跨度交互上经常达成一致，但他们也提供了预测的补充理由，共同为预测提供了一套全面的理由。
• 该数据集收集了 SNLI 数据集上的 NLI 和 FEVER 数据集上的 FC 的跨度交互解释。