MultihopSpatial

MultihopSpatial是一个专为评估视觉语言模型（VLMs）在多跳组合空间推理中的鲁棒性而设计的基准测试。与仅评估单步空间关系的现有基准不同，MultihopSpatial包含1至3个推理跳的查询，并配有视觉接地评估，揭示了模型在获得高多项选择准确率的同时可能缺乏正确的空间定位能力。所有4,500个基准QA对和边界框均由十名经过培训的人类专家严格标注，评分者间一致性达到90%（Krippendorff's α = 0.90）。数据集包括训练集（6,791个样本）和测试集（4,500个样本），涵盖自我中心和外中心视角，以及三种空间类别（属性、位置、关系）的组合问题。数据字段包括唯一标识符、图像路径、分辨率、视角类型、推理复杂度、问题文本、带标签的问题文本、正确答案和边界框坐标。