Com2Sense (Complementary Commonsense)

我们引入了一个新的常识推理基准数据集，包括自然语言真/假语句，每个样本与其互补对应物配对，产生 4k 句对。我们提出了一个成对的准确度指标，以可靠地衡量代理在给定情况下执行常识推理的能力。该数据集是众包的，并通过对抗性模型在环设置进行了增强，以激励具有挑战性的样本。为了促进对常识能力的系统分析，我们沿着知识领域、推理场景和算术的维度设计我们的数据集。