Com2Sense (Complementary Commonsense)

我们引入了一个新的常识推理基准数据集，包括自然语言真/假语句，每个样本与其互补对应物配对，产生 4k 句对。我们提出了一个成对的准确度指标，以可靠地衡量代理在给定情况下执行常识推理的能力。该数据集是众包的，并通过对抗性模型在环设置进行了增强，以激励具有挑战性的样本。为了促进对常识能力的系统分析，我们沿着知识领域、推理场景和算术的维度设计我们的数据集。

搜集汇总

背景与挑战

背景概述

Com2Sense是一个常识推理基准数据集，包含4000对自然语言真/假互补语句，通过众包和对抗性模型增强构建。该数据集旨在从知识领域、推理场景和算术维度评估代理的常识推理能力，并提出了成对准确度指标进行可靠测量。