MLL-Lab/MindTopo

MindTopo是一个多模态基准测试数据集，旨在探究基础模型是否能够基于拓扑结构（如连通性、包围、打结、排序、分离）进行推理，而不是依赖表面的视觉线索。数据集包含8,910个程序生成的示例，分布在13个环境/5个类别中。数据集主要用于评估多模态基础模型在拓扑推理上的表现，以及研究感知与交互之间的差距。数据集的示例包括感知和交互两种类型，感知示例包含问题、答案和图像路径，交互示例包含元信息以便在评估时重现场景。数据集是程序生成的，不包含人类收集的数据或个人身份信息。MindTopo is a multimodal benchmark probing whether foundation models reason about topological structure — connectivity, enclosure, knottedness, ordering, separation — rather than relying on superficial visual cues. The dataset contains 8,910 procedurally generated examples across 13 environments / 5 categories. It is primarily used for evaluating multimodal foundation models on topological reasoning and studying perception-vs-action gaps. The dataset includes both perception and interactive examples, with perception examples containing questions, answers, and image paths, and interactive examples containing meta_info for scene reproduction at evaluation time. The dataset is procedurally generated, with no human-collected data or personally identifiable information.

搜集汇总

数据集介绍

构建方式

MindTopo数据集的构建依托于13种精心设计的环境与5大拓扑类别，通过程序化生成技术，自动产生共计8,910个多模态样本。每个环境配备专用模拟器，以连续性、封闭性、结理论、次序性与分离性为核心，系统性地挑战模型对拓扑结构的理解。感知类环境直接渲染视觉场景，交互类环境则记录程序化种子与配置参数，确保每次评估均可复现，从而在避免人工收集与隐私风险的同时，保障数据集的可扩展性与纯净性。

特点

该数据集最显著的特点在于其对拓扑推理的专注，超越了传统视觉问答对表面特征的依赖。样本涵盖连续性管道、二维与三维迷宫、封闭检测、打结与解结、串珠与折纸排序以及物体分离等丰富场景，形成感知型与交互型两大范式。这种双轨设计能够精准揭示基础模型在“视觉理解”与“行动推理”间的能力鸿沟，为评估多模态大模型的高阶空间智能提供严苛而全面的测试平台。

使用方法

使用者可通过HuggingFace的datasets库便捷加载，例如调用load_dataset("MLL-Lab/MindTopo", "continuity_2d_maze", split="test")即可获取特定环境的测试数据。每个样本包含问题、答案及图像路径（感知型）或用于场景重现的元信息（交互型）。官方明确建议该基准仅用于评估而非训练，所有场景均可通过重新生成种子实现未见过版本的测试，确保评测结果的公平与可重复性。

背景与挑战

背景概述

拓扑结构推理作为空间智能的核心要素，涉及连通性、包围关系、打结状态、顺序排列与分离等基础概念，对视觉语言模型的认知能力提出了超越表面特征的深层挑战。MindTopo数据集由MLL-Lab研究机构于2026年在NeurIPS数据集与基准轨道上发布，旨在系统性地评估基础模型在拓扑空间中的推理能力。该数据集包含8910个程序化生成的样本，跨越5大类别的13种环境，并通过感知型与交互型任务的划分，精准探测模型在视觉感知与行动决策之间的能力鸿沟。作为首个专注于拓扑推理的多模态基准，MindTopo填补了现有视觉语言模型评估中缺乏结构化空间关系理解的空白，为衡量模型是否真正掌握拓扑不变性而非依赖视觉捷径提供了标准化的测试平台。

当前挑战

MindTopo所解决的领域核心挑战在于：当前视觉语言模型在处理需要拓扑推理的任务时，往往依赖于颜色、纹理等浅层视觉线索，而无法理解连通性与分离性等不随连续形变改变的本质属性。该基准通过程序化生成确保场景的拓扑结构精心变化而其他视觉因素受控，从而暴露模型在拓扑泛化上的根本缺陷。在构建过程中，数据集面临两大挑战：其一，设计具有明确拓扑目标且可自动生成多样化实例的环境，需要在模拟器中嵌入严格的拓扑约束以保证问题的数学准确性；其二，平衡感知型与交互型任务的比例与难度，前者要求从静态图像中推断拓扑关系，后者则需要在动态交互中验证模型能否通过行动操纵结构，这对生成引擎的灵活性与鲁棒性提出了极高的要求。

常用场景

经典使用场景

MindTopo数据集专为评估多模态基础模型的拓扑推理能力而设计，其经典使用场景在于检验视觉语言模型（VLM）是否真正理解连通性、包围、打结、顺序与分离等拓扑结构，而非依赖浅层视觉线索。数据集通过13个程序化生成的环境（如2D/3D迷宫、折纸、解结等）提供超过8900个测试样本，涵盖感知型与交互型两类任务，可用于系统性度量模型在空间推理上的鲁棒性与泛化能力，是拓扑逻辑推理评测领域的标杆性基准。

衍生相关工作

MindTopo的出现催生了一系列衍生研究工作，包括将其作为核心测试集用于比较不同模型家族（如GPT-4V、Gemini、LLaVA等）在拓扑推理维度上的表现差距。研究者进一步探索了感知型与交互型任务间的性能差异，分析了视觉输入是否足以支撑拓扑推理或需要结合行动反馈。部分工作开始尝试基于MindTopo的任务设计理念，构建更复杂的多步骤拓扑推理benchmark，并探讨将拓扑损失函数引入模型训练以提升空间理解能力，推动多模态推理研究向更深层的结构化认知迈进。

数据集最近研究

最新研究方向

MindTopo数据集聚焦于评测多模态基础模型在拓扑结构推理上的能力，涵盖连通性、封闭性、纽结、排序与分离五大核心范畴。通过程序化生成的近九千个样本及感知与交互两种评测范式，该基准旨在揭露模型在空间关系理解中对视觉捷径的依赖，推动视觉语言模型在几何与拓扑推理层面的突破。在具身智能与空间智能备受关注的当下，MindTopo为衡量模型是否真正掌握结构性空间知识提供了关键标尺，其影响延伸至机器人操作、场景理解与物理常识推理等前沿领域。