GePBench

GePBench是由南京大学国家软件新技术重点实验室开发的一个新颖基准数据集，旨在评估多模态大语言模型在几何感知方面的能力。该数据集包含20,000张几何图形和250,000道多选题，涵盖了空间感知、形状理解等六个关键维度。数据集的构建过程通过专门的数据合成引擎生成结构化文本描述，并转化为几何图形，进而生成相应的多选题。GePBench的应用领域主要集中在提升多模态大语言模型在几何感知方面的基础能力，为复杂的视觉推理和决策任务奠定基础。GePBench is a novel benchmark dataset developed by the State Key Laboratory for Novel Software Technology at Nanjing University, which aims to evaluate the geometric perception capabilities of multimodal large language models. This dataset contains 20,000 geometric graphics and 250,000 multiple-choice questions, covering six key dimensions including spatial perception and shape understanding. During the dataset construction process, a dedicated data synthesis engine is employed to generate structured text descriptions, which are then converted into geometric graphics, and subsequently corresponding multiple-choice questions are created. The application scenarios of GePBench mainly focus on enhancing the basic geometric perception capabilities of multimodal large language models, laying a solid foundation for complex visual reasoning and decision-making tasks.

搜集汇总

数据集介绍

构建方式

GePBench数据集的构建采用了系统化的数据合成流程。首先，通过随机采样预定义的几何形状，并为其分配位置、大小和方向等属性，生成结构化的文本描述。随后，利用Matplotlib库将这些描述渲染为几何图形，并通过添加高斯噪声、椒盐噪声等视觉噪声来增加任务的难度。最后，基于生成的图形和文本描述，通过模板化的流程构建了涵盖六个关键维度的多项选择题，包括存在性、计数、位置、大小、参考和关系等。整个数据集包含20,000张几何图形和250,000道多项选择题，分为简单和困难两个难度级别。

使用方法

GePBench数据集的使用方法主要包括以下几个方面。首先，研究人员可以利用该数据集对多模态大语言模型进行几何感知能力的评估，通过分析模型在六个关键维度上的表现，识别其在空间感知和形状理解方面的不足。其次，数据集可以用于模型的训练和微调，通过引入几何感知任务，提升模型在复杂视觉任务中的表现。此外，研究人员还可以通过对比不同模型在简单和困难任务上的表现，深入探讨模型在处理复杂几何问题时的能力差异。最后，数据集的结果可以为模型架构的优化提供指导，帮助开发更强大的多模态大语言模型。

背景与挑战

背景概述

GePBench是由南京大学国家软件新技术重点实验室的研究团队于2024年提出的一项新型基准测试，旨在评估多模态大语言模型（MLLMs）在几何感知方面的能力。随着MLLMs在视觉与语言理解融合领域的显著进展，现有的基准测试主要关注于现实生活中的复杂场景，而忽略了在非日常环境中至关重要的基本感知技能，尤其是几何感知能力。GePBench通过生成几何图形及其对应的多选问题，专注于评估模型在空间关系和抽象视觉模式理解方面的表现。该数据集的构建基于一个专门的数据合成引擎，生成了20K张图像和250K个多选问题，涵盖了位置、大小、存在性、计数、参考和关系等六个关键维度。实验结果表明，当前最先进的MLLMs在几何感知任务中表现显著不足，而基于GePBench训练的模型在多种下游任务中表现出显著提升，凸显了几何感知作为高级多模态应用基础的重要性。

当前挑战

GePBench面临的挑战主要体现在两个方面。首先，在领域问题方面，现有的多模态大语言模型在几何感知任务中表现不佳，尤其是在空间推理和形状理解等基础视觉能力上存在显著缺陷。例如，GPT-4o和Claude-3.5-Sonnet在尺寸判断任务中的准确率分别仅为23.3%和20.8%，远低于随机猜测的水平。这表明当前模型在处理几何图形时缺乏基本的空间感知能力。其次，在数据构建过程中，GePBench通过数据合成引擎生成几何图形及其对应的多选问题，这一过程需要确保生成的图形具有多样性和复杂性，同时避免过度重叠或超出边界的形状，以保证数据的可解释性。此外，为了增加任务的难度，GePBench在部分图形中添加了视觉噪声，如高斯噪声和椒盐噪声，这进一步挑战了模型在视觉退化条件下的表现。这些挑战凸显了GePBench在评估和提升多模态大语言模型几何感知能力方面的重要价值。

常用场景

经典使用场景

GePBench数据集主要用于评估多模态大语言模型（MLLMs）在几何感知任务中的表现。通过生成包含几何图形的图像及其对应的多选问题，GePBench能够系统地测试模型在空间感知、形状理解等基础视觉能力上的表现。该数据集特别适用于研究模型在处理抽象几何图形时的能力，填补了现有基准测试在几何感知领域的空白。

解决学术问题

GePBench解决了多模态大语言模型在几何感知任务中的评估不足问题。现有基准测试主要关注现实场景中的复杂任务，而忽略了模型在基础几何感知能力上的表现。GePBench通过专注于几何图形，提供了对模型空间感知、形状理解等核心能力的全面评估，揭示了当前先进模型在这些任务中的显著缺陷，为未来的模型改进提供了重要参考。

实际应用

GePBench的实际应用场景广泛，特别是在需要精确空间感知和抽象视觉模式理解的领域。例如，在医学图像分析中，医生需要准确识别和解读复杂的几何结构；在化石分类中，研究人员依赖对几何形状的精确理解。通过提升模型在这些任务中的表现，GePBench为相关领域的自动化处理提供了技术支持，推动了多模态大语言模型在实际应用中的进一步发展。

数据集最近研究

最新研究方向

GePBench作为评估多模态大语言模型（MLLMs）几何感知能力的新型基准，近期研究聚焦于揭示当前先进模型在几何感知任务中的显著不足。尽管MLLMs在视觉与语言理解的融合方面取得了显著进展，但在处理几何形状、空间关系等基础感知任务时表现欠佳。GePBench通过生成结构化几何图形及其对应的多选问题，全面评估模型在空间感知、形状理解等维度的能力。研究表明，即使是表现最佳的模型如Gemini-1.5-pro，在几何感知任务中的平均准确率也仅为69.4%，凸显了模型在基础几何理解方面的迫切需求。此外，通过GePBench数据训练的模型在多种下游任务中表现出显著提升，进一步验证了几何感知在推动多模态应用中的重要性。

相关研究论文

• GePBench: Evaluating Fundamental Geometric Perception for Multimodal Large Language Models

  南京大学国家软件新技术重点实验室 · 2024年