tasksource/arct2

该数据集用于评估神经网络模型对自然语言论证的理解能力。原始数据集存在统计线索的利用问题，因此构建了一个对抗性数据集以提供更稳健的评估。该数据集应作为未来工作的标准。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 文本分类
• 语言: 英语

来源与引用

• 数据集链接: https://github.com/IKMLab/arct2
• 出版物:
  • 标题: Probing Neural Network Comprehension of Natural Language Arguments
  • 作者: Niven, Timothy 和 Kao, Hung-Yu
  • 会议: 第57届计算语言学协会会议
  • 日期: 2019年7月
  • 地点: 佛罗伦萨, 意大利
  • 出版者: 计算语言学协会
  • URL: https://www.aclweb.org/anthology/P19-1459
  • 页码: 4658--4664
  • 摘要: 文章探讨了BERT模型在Argument Reasoning Comprehension Task上的表现，指出其高准确率主要源于对数据集中伪统计线索的利用，并提出了一种对抗性数据集以更准确评估模型对自然语言论证的理解能力。