MMToM-QA

该数据集是一个涵盖在家庭环境中寻找物体的人的信念和目标的多模态问答基准。它报告了所有问题、信念问题以及目标问题的平均准确率。该数据集的规模为200个问题，仅包含文本子集，其任务为心智推理。This dataset is a multimodal question answering benchmark covering the beliefs and goals of people searching for objects in household environments. It reports the average accuracy rates for all questions, belief-based questions, and goal-oriented questions. The dataset includes 200 questions in its text-only subset, with its task focusing on theory of mind reasoning.

搜集汇总

背景与挑战

背景概述

MMToM-QA是一个多模态心理理论问答基准数据集，旨在评估机器对人们心理状态（如信念和目标）的理解能力。该数据集包含600个问题，覆盖信念推断和目标推断两大类别，基于家庭环境中的活动场景，提供RGB-D视频帧和文本描述作为输入，支持多模态和单模态数据评估。