UrBench

UrBench 包含了 11.6K 个精心策划的问题，涵盖了区域级和角色级的 4 个任务维度：地理定位、场景推理、场景理解和物体理解，共计 14 种任务类型。在构建 UrBench 时，研究者们不仅利用了现有数据集中的数据，还额外从 11 个城市收集了数据，并采用跨视角检测 - 匹配方法创建了新的注释。借助这些图像和注释，研究者们整合了基于 LMM、基于规则和基于人类的方法，构建了大规模、高质量的问题集。

搜集汇总

背景与挑战

背景概述

UrBench是一个包含11.6K个问题的多模态基准数据集，涵盖地理定位、场景推理等4个任务维度和14种任务类型。它基于现有数据和从11个城市额外收集的数据，通过跨视角检测-匹配方法创建注释，并整合LMM、规则和人类方法构建高质量问题集。