大规模视觉语言模型遥感能力量化评估基准(CHOICE)

数据集面向大规模视觉语言模型的遥感能力，提供了客观且可量化的评估体系。整体包含 2 个主要能力：感知能力与推理能力，进一步细分为 6 个评估维度和 23 个子任务，覆盖光学、SAR、双/多时相等多种遥感模态，并支持单项选择、检测框、分割掩膜等多样化问题类型。数据采集依托 OpenStreetMap 标签体系及多种遥感卫星与平台，在全球 50 余个城市从零获取遥感影像，有效规避潜在的数据泄露风险。评测题目的构建采用“标签驱动”“基础模型驱动”与“人类—GPT4 协作”三重策略，并经过严格的人工作质控，确保评测结果的客观性与准确性。