Torque

阅读的一个关键部分是能够理解一段文本中描述的事件之间的时间关系，即使这些关系没有明确说明。然而，当前的机器阅读理解基准几乎没有测试时间现象的问题，因此在这些基准上训练的系统无法回答诸如“在 [某些事件] 之前/之后发生了什么？”之类的问题。我们介绍了 TORQUE，这是一个新的英语阅读理解基准，基于 3.2k 新闻片段和 21k 人为查询时间关系的问题。结果表明，RoBERTa-large 在 TORQUE 的测试集上达到了 51% 的精确匹配分数，落后人类表现约 30%。

A critical component of reading comprehension is the ability to understand the temporal relationships between events described in a text, even when those relationships are not explicitly stated. However, current machine reading comprehension benchmarks rarely include questions that target temporal phenomena, so systems trained on these benchmarks are unable to answer queries such as "What happened before/after a certain event?". We introduce TORQUE, a novel English reading comprehension benchmark constructed from 3.2k news snippets and 21k human-annotated questions focused on temporal relations. Experimental results demonstrate that RoBERTa-large achieves a 51% exact match score on the TORQUE test set, falling approximately 30% short of human performance.

搜集汇总

背景与挑战

背景概述

Torque是一个英语阅读理解基准数据集，包含3.2k新闻片段和21k人为查询时间关系的问题，用于测试模型对文本中事件时间关系的理解能力。该数据集由宾夕法尼亚大学等机构于2020年发布，RoBERTa-large模型在该数据集上的表现落后人类约30%。