ToM QA

我们提出了一个数据集来评估问答模型的推理能力。我们从发展心理学中的心智理论实验（例如 Sally-Anne 任务）中获得灵感；这些实验旨在测试儿童是否能够理解他人的信念，以及对世界不一致状态的推理——例如，当某人的信念与现实情况不同时。
数据由一组 3 种任务类型和 4 种问题类型组成，总共创建了 12 个场景。这些任务被分组到故事中，这些故事由每行开头的编号表示。

搜集汇总

背景与挑战

背景概述

ToM QA是一个用于评估问答模型推理能力的数据集，其设计灵感来源于发展心理学中的心智理论实验，旨在测试模型对他人信念的理解。数据集包含3种任务类型和4种问题类型，共构成12个场景，并分组到故事中进行呈现。