Video MindPalace Benchmark (VMB)

Video MindPalace Benchmark (VMB) 是一个用于评估模型在真实环境中进行空间、时间和布局关系推理能力的新型基准测试。该数据集由威斯康星大学麦迪逊分校、Meta和伊利诺伊大学厄巴纳-香槟分校的研究团队创建，旨在通过第一人称视角视频捕捉人类日常活动，并生成与3D世界紧密相关的数据。VMB包含三类问题：增强空间定位、上下文时间推理和布局感知推理，要求模型提供类似于人类理解的上下文响应。该数据集的应用领域主要集中在长视频理解和大规模视觉语言模型的推理能力提升上，旨在解决长视频分析中的时空一致性和人类对齐推理问题。Video MindPalace Benchmark (VMB) is a novel benchmark for evaluating models' capacity to reason about spatial, temporal, and layout relationships in real-world scenarios. This dataset was developed by research teams from the University of Wisconsin-Madison, Meta, and the University of Illinois Urbana-Champaign, which aims to capture human daily activities via first-person perspective videos and generate data closely associated with the 3D world. VMB includes three types of questions: enhanced spatial localization, contextual temporal reasoning, and layout-aware reasoning, requiring models to deliver contextual responses analogous to human comprehension. The application fields of this dataset mainly focus on long-form video understanding and enhancing the reasoning capabilities of large-scale vision-language models, with the goal of addressing the issues of spatio-temporal consistency and human-aligned reasoning in long-form video analysis.

搜集汇总

数据集介绍

构建方式

Video MindPalace Benchmark (VMB) 数据集的构建基于一种新颖的图结构表示方法，旨在通过分层语义图来捕捉长视频中的关键时空信息。具体而言，数据集通过三个层次的结构来组织视频内容：第一层是人与物体的交互图，通过多目标跟踪模型（如RT-DETR和ByteTrack）捕捉人与物体的交互关系；第二层是活动区域图，利用CLIP模型和相机姿态估计，将视频帧聚类为不同的活动区域；第三层是场景布局图，通过语义标签将活动区域进一步组织为房间级别的布局。这种分层结构使得视频内容能够以拓扑图的形式表示，便于语言模型进行时空推理。

特点

VMB 数据集的特点在于其专注于长视频的时空推理任务，特别是通过图结构表示来捕捉视频中的关键时空关系。数据集包含多种类型的推理问题，如增强的空间定位、上下文时间推理和布局感知推理，这些问题要求模型能够理解物体之间的空间关系、事件的时间顺序以及环境中的导航路径。此外，VMB 数据集还提供了开放性问题，要求模型生成详细的行动描述，进一步挑战模型对复杂场景的理解能力。这些特点使得VMB成为评估视频理解模型在长视频分析中表现的重要基准。

使用方法

VMB 数据集的使用方法主要包括多选问答和开放性问题回答。在多选问答任务中，模型需要根据提供的图结构信息，从多个选项中选择正确的答案。开放性问题则要求模型生成详细的行动描述，展示其对视频内容的理解。为了确保模型能够有效利用图结构信息，数据集还提供了详细的提示设计，指导模型如何从图中提取关键信息进行推理。通过这种方式，VMB 数据集不仅能够评估模型在时空推理任务中的表现，还能够推动长视频理解技术的发展。

背景与挑战

背景概述

Video MindPalace Benchmark (VMB) 是由威斯康星大学麦迪逊分校、Meta 和伊利诺伊大学厄巴纳-香槟分校的研究团队于2025年提出的一个新型视频理解基准测试。该数据集旨在评估大视觉语言模型（VLMs）在长视频分析中的时空推理能力。VMB 的灵感来源于“记忆宫殿”技术，通过将视频中的关键时刻组织成拓扑结构的语义图，帮助模型更好地理解长时间跨度的视频内容。VMB 的核心研究问题包括空间定位、时间推理和布局感知的序列理解，这些问题在长视频分析中尤为重要。该数据集的提出为长视频理解领域提供了新的评估标准，推动了视频语言模型在复杂时空推理任务中的发展。

当前挑战

VMB 面临的挑战主要体现在两个方面。首先，长视频分析中的信息过载问题是一个主要挑战。由于长视频通常包含大量冗余信息，现有的方法难以有效过滤这些冗余，导致模型在处理时容易受到无关信息的干扰，从而影响推理的准确性和效率。其次，构建过程中，如何从长视频中提取并组织关键信息也是一个技术难点。VMB 通过引入拓扑结构的语义图来解决这一问题，但如何确保语义图的准确性和完整性仍然是一个挑战。此外，VMB 的评估任务要求模型具备人类般的推理能力，尤其是在空间定位、时间推理和布局感知等方面，这对模型的复杂推理能力提出了更高的要求。

常用场景

经典使用场景

Video MindPalace Benchmark (VMB) 数据集主要用于评估大视觉语言模型（VLMs）在长视频分析中的表现，特别是在空间定位、时间推理和布局感知推理等任务上的能力。通过将视频中的关键时刻组织成拓扑结构的语义图，VMB 能够帮助模型更好地理解视频中的时空关系，从而提升对长视频内容的分析能力。

解决学术问题

VMB 数据集解决了长视频理解中的信息过载和冗余问题。传统方法在处理长视频时，往往无法有效过滤无关信息，导致模型在处理长视频时效率低下。VMB 通过将视频内容组织成层次化的语义图，帮助模型更高效地捕捉视频中的关键信息，从而提升了模型在时空推理和布局感知任务上的表现。

衍生相关工作

VMB 数据集的提出推动了多个相关领域的研究进展，特别是在视频理解和多模态推理方面。基于 VMB 的研究工作，如 VideoTree 和 VideoAgent，进一步探索了如何通过结构化表示提升长视频理解能力。此外，VMB 还为其他视频理解基准（如 EgoSchema 和 NExT-QA）提供了新的评估标准，推动了视频理解模型的进一步发展。