IRef-VLA

IRef-VLA数据集是由卡内基梅隆大学机器人学院创建的，旨在为交互式参考视觉和语言引导的3D场景动作提供基准数据集。该数据集包含超过11.5K个来自现有数据集的扫描3D房间，7.6M个启发式生成的语义关系和4.7M个参考语句。数据集还包含语义对象和房间注释、场景图、可导航自由空间注释，并加入了语言不完美的参考语句。该数据集适用于三维场景理解，有助于开发健壮的交互式导航系统。

The IRef-VLA dataset was created by the Robotics Institute at Carnegie Mellon University, designed to serve as a benchmark dataset for interactive reference-based vision-and-language guided 3D scene action tasks. It contains over 11.5K scanned 3D rooms sourced from existing datasets, 7.6M heuristically generated semantic relationships, and 4.7M referring expressions. The dataset also includes semantic object and room annotations, scene graphs, navigable free space annotations, as well as referring expressions with imperfect language. This dataset supports 3D scene understanding research and facilitates the development of robust interactive navigation systems.

搜集汇总

数据集介绍

构建方式

IRef-VLA数据集通过整合来自ScanNet、Matterport3D、Habitat-Matterport 3D (HM3D)、3RScan和ARKitScenes等多个真实世界数据集的3D扫描数据构建而成。每个场景包含点云数据、对象语义标签、可遍历空间标注以及密集的场景图。通过启发式方法生成了760万条语义关系和470万条指称语句，其中包括带有语言缺陷的语句，以增强数据集的多样性和现实性。数据处理流程包括3D扫描处理、场景图生成和语言生成三个主要步骤，确保了数据的高质量和丰富性。

特点

IRef-VLA数据集是目前最大的真实世界指称接地任务数据集，包含11.5K个扫描的3D房间、760万条语义关系和470万条指称语句。其独特之处在于包含了语义对象和房间标注、场景图、可遍历空间标注以及带有语言缺陷的指称语句。这些特点使得该数据集在3D场景理解和语言接地任务中具有显著优势，能够有效支持复杂空间推理和语义理解的研究。数据集还特别关注了语言不完美或模糊的情况，为开发鲁棒的交互式导航系统提供了宝贵资源。

使用方法

IRef-VLA数据集可用于训练和评估指称接地模型，特别适用于处理不完美语言的场景。使用该数据集时，研究人员可以通过加载场景点云、语义标签和场景图，结合指称语句进行模型训练。数据集支持两种任务：标准指称接地任务和扩展的不完美指称接地任务。对于后者，模型需要检测不存在的对象并生成替代建议。数据集提供了基线评估方法，包括基于图搜索的方法和增强的SOTA模型，帮助研究人员快速验证模型性能。此外，数据集还提供了可视化工具，便于直观理解场景和语言对应关系。

背景与挑战

背景概述

IRef-VLA数据集由卡内基梅隆大学机器人研究所的研究团队于2025年提出，旨在推动三维场景中基于自然语言的交互式指代理解研究。该数据集聚焦于室内导航场景中不完美语言输入的指代消解问题，整合了来自ScanNet、Matterport3D等五大真实场景数据源的11.5K三维房间扫描数据，包含477个物体类别的286K对象标注，以及470万条启发式生成的指代语句。其创新性体现在融合场景图、可通行空间标注和包含语言缺陷的指代语句三大核心要素，为三维视觉语言理解领域提供了目前规模最大的真实世界基准。该数据集的建立显著推进了机器人对复杂空间关系的理解能力，为家庭服务机器人等实际应用场景提供了关键研究基础。

当前挑战

IRef-VLA数据集主要应对两大层面的挑战：在领域问题层面，需解决三维空间推理中由物体细粒度分类、相似物体干扰、空间关系复杂性带来的指代消解困难，特别是处理人类语言中存在的38%的模糊表达或错误指代情况；在构建过程层面，面临三维点云语义标注一致性维护、跨数据集场景图关系标准化（涉及760万空间关系）、以及生成符合Grice会话准则的最小化指代语句等关键技术挑战。实验表明，即使采用当前最先进的3D-VisTA模型，在包含不完美语句的测试集上准确率仅为60.6%，验证了该基准对模型鲁棒性的严苛要求。

常用场景

经典使用场景

IRef-VLA数据集在3D场景理解和自然语言交互领域具有广泛的应用价值，尤其在室内导航和机器人交互任务中表现突出。该数据集通过结合11.5K个3D房间扫描、7.6M语义关系和4.7M参考语句，为研究者在复杂3D环境中进行对象定位和语义理解提供了丰富的实验平台。其独特的场景图和自由空间标注进一步增强了数据集的实用性，使得研究者能够深入探索空间推理和语言理解的交互机制。

衍生相关工作

围绕IRef-VLA数据集已衍生出多项创新研究，包括基于场景图的增强型搜索算法、多模态预训练模型的3D适配方法，以及交互式歧义解决框架。这些工作显著推进了3D视觉语言模型的发展，如3D-VisTA和MVT等模型通过在该数据集上的训练，在Nr3D等基准测试中实现了性能突破。数据集独特的‘不完美语言’任务也催生了新一代交互式导航系统的研究范式。

数据集最近研究

最新研究方向

随着大语言模型和视觉语言模型的快速发展，多模态、多任务的机器人技术在自然语言输入下的多样化环境中展现出巨大潜力。IRef-VLA数据集作为当前最大的真实世界3D场景指代接地数据集，为室内导航等应用提供了重要支持。该数据集的前沿研究方向主要集中在三个方面：一是探索3D空间推理与语义理解的深度融合，以应对复杂场景中的物体识别与定位挑战；二是研究不完美语言输入的鲁棒处理机制，包括歧义解析和错误参考检测；三是开发基于场景图谱的交互式导航系统，通过多轮对话实现精准目标确认。这些研究方向与当前机器人领域的热点问题高度契合，如家庭服务机器人的自然交互、AR/VR环境中的智能导览等应用场景。该数据集的发布为开发具有强泛化能力的3D视觉语言模型提供了重要基准，推动了具身智能向更自然、更可靠的人机交互方向发展。

相关研究论文

• IRef-VLA: A Benchmark for Interactive Referential Grounding with Imperfect Language in 3D Scenes

  卡内基梅隆大学机器人学院 · 2025年