MV-ScanQA 和 TripAlign

MV-ScanQA 是一个用于评估多视图场景理解和组合推理能力的 3D 问答数据集，其中 68% 的问题需要整合来自多个视图的信息。TripAlign 是一个大规模的 2D-3D-语言语料库，包含超过 100 万个三元组，通过 2D 视图作为中介，自然地将多个上下文相关的对象组合在一起，从而实现更密集的多对象注释。这两个数据集旨在解决现有 3D 视觉语言数据集在多视图推理和稀疏注释方面的局限性，为 3D 视觉语言模型的训练和评估提供了新的挑战和机会。

MV-ScanQA is a 3D question answering dataset developed to evaluate multi-view scene understanding and compositional reasoning capabilities, with 68% of its questions requiring the integration of information from multiple views. TripAlign is a large-scale 2D-3D-language corpus containing over one million triples, which naturally groups multiple contextually related objects via 2D views as an intermediary to enable denser multi-object annotations. These two datasets aim to address the limitations of existing 3D vision-language datasets in multi-view reasoning and sparse annotation, providing novel challenges and opportunities for the training and evaluation of 3D vision-language models.

搜集汇总

数据集介绍

构建方式

MV-ScanQA的构建依托于一个基于大语言模型的、原则性的组合式问题合成框架。该框架从现有的单视角可解问题出发，通过两个精心设计的阶段来生成复杂查询。首先，进行问题候选配对，依据两个关键语义准则筛选：候选问题对必须共享至少一个共同物体作为语境锚点，且各自相关的物体集合互不为子集，以此确保每个原问题贡献独特信息。随后，借助先进的生成式大语言模型，将配对问题中的信息需求融合成单一新查询，同时保证答案的清晰性与可验证性，最终形成约1万个需要多视角信息整合的问题-答案对。TripAlign的构建则采用全自动双流水线策略。其一，利用预训练的二维图像描述器为三维场景的海量第一人称视角生成多条描述文本，并通过图像-文本检索模型筛选出语义匹配度高的高质量对，形成〈二维视角、可见三维物体、文本描述〉三元组。其二，通过选择包含多个相关物体的、信息量最丰富的视角，对现有的三维视觉语言数据集进行上下文扩展，从而自然地将群组物体与文本对齐。

使用方法

MV-ScanQA可直接作为三维视觉问答的标准评测基准，用于评估模型在复杂场景中的多视角空间推理能力。研究者可参考其“可解性”分析流程，量化自身模型在仅依赖单视角与必须整合多视角信息场景下的性能差异。TripAlign则作为强大的预训练语料库，用于增强三维视觉语言模型。在预训练阶段，模型可学习处理其提供的〈二维视角、三维物体、文本〉三元组，并利用内置的视角依赖多物体对齐机制，仅保留与当前视角及文本描述相关的物体，实现精准的跨模态对齐。训练后的模型（如文中提出的LEGO基线）能在MV-ScanQA、ScanRefer、ScanQA等多项三维场景理解任务上取得领先性能。相关数据集与代码均已开源供社区使用。

背景与挑战

背景概述

在三维视觉-语言（3D VL）学习领域，现有数据集普遍存在两大局限：其一，多数评测任务仅需单视角信息即可解答，缺乏对跨视角空间推理能力的真正考验；其二，标注往往仅关联单一物体，忽略了场景中多物体间丰富的上下文对齐关系。为突破这一瓶颈，北京大学与北京通用人工智能研究院的研究团队于2025年共同提出了MV-ScanQA与TripAlign数据集。MV-ScanQA是一个专门用于评估多视角组合推理的三维问答基准，其中68%的问题明确要求整合来自多个视角的信息，远超现有数据集不足7%的比例，从而对模型的多视角场景理解能力提出了严苛挑战。TripAlign则是一个大规模、低成本的二维-三维-语言预训练语料库，包含超过100万个⟨二维视图、三维物体集合、文本⟩三元组，通过显式对齐上下文相关物体组与文本，提供了比传统单物体标注更丰富的多模态对齐信号。这两个数据集的联合推出，为三维场景理解研究开辟了新的评估维度与训练范式。

当前挑战

MV-ScanQA与TripAlign所应对的核心挑战包括两个方面。在领域问题层面，现有3D VL基准存在显著的“单视角瓶颈”——超过93%的指令仅凭单一第一人称视角即可解答，这导致模型无需发展真正的多视角空间推理能力。MV-ScanQA通过要求68%的问题必须融合至少两个视角的信息（其中13%需三个以上视角），迫使模型突破单视角理解的局限，从而填补了多视角组合推理评测的空白。在数据集构建层面，现有训练数据仅提供单物体-文本对，忽略了场景描述中自然存在的多物体上下文关系。TripAlign的创新在于利用二维视图作为桥梁，自动将共现的上下文相关物体分组并与文本对齐，通过全自动双流水线——从二维视图生成描述与为现有3D VL数据集扩展信息性视图——实现了大规模、低成本的多物体对齐标注，解决了稀疏标注问题，为模型提供了更稠密的多模态监督信号。

常用场景

经典使用场景

在三维视觉与语言交叉研究的广袤疆域中，MV-ScanQA 与 TripAlign 数据集以其独特的构建理念，开辟了多视角推理与多目标对齐的全新评估与预训练范式。MV-ScanQA 作为一项高难度的三维问答基准，核心用途在于严格检验模型跨多个视点整合信息、进行组合推理的能力——其逾六成的问题要求综合两个或以上视角方能作答，远超既有数据集的单视角依赖。TripAlign 则作为大规模预训练语料，通过构建超过一百万组“二维视图、三维物体集合、文本描述”三元组，为模型提供了富含上下文关联的多目标对齐信号，彻底革新了传统单目标标注的稀疏监督模式。两者分别从评估与训练两端，共同构筑了推动三维场景深度理解的核心试验场。

解决学术问题

面对现有三维视觉语言数据集普遍存在的“单视角瓶颈”与“稀疏标注”两大痼疾，MV-ScanQA 与 TripAlign 的提出具有深刻的学术革新意义。前者通过精密的“可解性分析”量化揭示了传统基准中超过93%的指令仅凭单一视角即可解决的根本局限，进而以结构化的问题合成框架系统性地制造出需多视角协同推理的复杂查询，填补了多视角组合推理评估的空白。后者则彻底突破了仅将指令与单一物体链接的浅层标注范式，借助二维视图作为天然桥梁自动聚合上下文相关的物体群体，为模型学习密集、复杂的多物体-文本对应关系提供了前所未有的丰富监督信号，从根本上缓解了数据驱动方法在三维场景理解中长期面临的数据稀缺难题。

实际应用

在真实世界的应用版图中，MV-ScanQA 与 TripAlign 所驱动的技术直接服务于对空间理解要求极高的智能系统。通过提升机器人对复杂室内环境的感知与推理能力，使其能够在厨房、客厅等场景中精准定位并回答关于远处物体间关系的复杂查询，从而赋能家用服务机器人完成诸如“找到书桌右侧垃圾桶”等具身交互任务。此外，TripAlign 所倡导的多视角、多目标对齐策略，可高效应用于三维场景中的密集描述生成与视觉问答系统，支撑智能导览、虚拟现实空间理解以及辅助视障人士的环境感知等实际场景，显著拓展了三维视觉语言技术在工业与消费级产品中的落地潜力。

数据集最近研究

最新研究方向

当前，三维视觉-语言（3D VL）领域的研究正面临两项核心瓶颈：现有基准数据集中超过93%的任务仅依赖单视角即可解答，模型的多视角空间推理能力未得到有效检验；同时，训练数据仅提供单目标与文本的弱关联，缺乏多目标间丰富的上下文对齐信号。为了突破这些局限，MV-ScanQA与TripAlign数据集应运而生。前者以68%的问题强制要求跨视角信息整合，显著提升了对组合推理能力的评估强度；后者则构建了百万级2D-3D-文本三元组语料库，通过将成组语义关联的物体与文本对齐，提供了稠密的多模态监督信号。这两项工作不仅揭示了当前大模型在多视角长程关系理解上的脆弱性，还为从二维基础模型向三维场景理解迁移知识开辟了高效路径，对推动具身智能与空间推理研究具有重要意义。

相关研究论文

• 通过

  北京大学 · 2025年