Social IQA (Social Interaction QA)

我们介绍了Social IQa：Social Interaction QA，一种用于测试社会常识智力的新问答基准。与许多先前关注物理或分类知识的基准相反，Social IQa 侧重于推理人们的行为及其社会影响。例如，给定“杰西看了一场音乐会”这样的动作和“杰西为什么要这样做？”这样的问题，人类可以很容易地推断出杰西想要“看到他们最喜欢的表演者”或“欣赏音乐”，而不是“看看里面发生了什么”或“看看它是否有效”。 Social IQa 中的动作跨越了各种各样的社会情境，候选答案包含人工策划的答案和经过对抗过滤的机器生成的候选答案。 Social IQa 包含超过 37,000 个 QA 对，用于评估模型推理日常事件和情况的社会影响的能力。