SIQA (Social Interaction QA)

社交IQa: 社交互动QA，用于测试社交常识智能的新问答基准。与许多以前侧重于物理或分类学知识的基准相反，社会IQa侧重于对人们的行为及其社会影响的推理。例如，给定一个像 “杰西看到了一场音乐会” 这样的动作和一个像 “杰西为什么这样做？”，人类可以很容易地推断出杰西想要 “看他们最喜欢的表演者” 或 “欣赏音乐”，而不是 “看里面发生了什么” 或 “看它是否有效”。社交IQa中的动作跨越了各种各样的社交场合，并且答案候选者既包含人为策划的答案，也包含经过对手过滤的机器生成的候选者。社交IQa包含37,000多个QA对，用于评估模型对日常事件和情况的社会影响进行推理的能力。