基于语义标注的真实3D空间数据集

本文提出了一个名为“基于相关信息的期望计算”的模型（CECI），用于在信念场景图上估计常识场景组成。该数据集基于语义标注的真实3D空间数据集，通过筛选和分组数据集中的1659个语义类别，生成35个精选的语义类别标签。数据集包括真实场景的3D空间图，每个节点具有语义类别标签、真实位置和真实尺寸等属性。此外，论文还介绍了使用大型语言模型（LLM）开发空间本体，以增强模型的学习能力。

This paper proposes a model named Correlation Information-based Expectation Calculation (CECI) for estimating commonsense scene composition on belief scene graphs. This dataset is built upon a real-world 3D spatial dataset with semantic annotations. By screening and grouping the 1659 semantic categories in the original dataset, 35 curated semantic category labels are generated. The dataset contains 3D spatial graphs of real-world scenes, where each node is equipped with attributes including semantic category labels, real-world positions and real-world dimensions. Additionally, this paper also presents the development of spatial ontologies using Large Language Models (LLMs) to improve the model's learning ability.

搜集汇总

数据集介绍

构建方式

基于语义标注的真实3D空间数据集的构建采用了多阶段精细处理流程。研究团队以Matterport3D数据集为基础，通过语义类别筛选与重组，将原始1659个语义类别精炼为35个具有任务相关性的核心类别。在数据增强阶段，采用随机节点删除策略对原始3D场景图进行25%的节点删减，生成具有多样性的增强图集。基于网格化的空间概率分布建模方法，构建了包含位置热力图和物体计数的双重表征体系，为每个语义类别建立S×S的二维概率分布模型。

使用方法

数据集的使用遵循层次化处理流程。输入部分接收包含盲节点的信念场景图，其中节点属性包含部分观测物体的位置热力图和物体计数。通过CECI模型的双通道架构，同时处理图结构信息和空间本体知识，输出各类物体的预测位置概率分布。应用阶段可采用ArgMax方法确定最大概率位置，或设置阈值过滤低置信区域。该数据集特别适用于机器人环境理解、场景补全等任务，实验证明其能够有效预测不同类型房间中未观测物体的合理空间分布。

背景与挑战

背景概述

基于语义标注的真实3D空间数据集由Luleå University of Technology的Mario A.V. Saucedo等人于2025年提出，旨在解决机器人系统在部分观测环境中理解与推理场景构成的难题。该数据集通过扩展Belief Scene Graphs（BSG）模型，引入未见物体的空间分布概率估计，从而模拟人类对场景布局的常识性认知。研究团队利用Matterport3D数据集作为基础，通过语义标注与数据增强构建了包含35个语义类别的3D场景图，为机器人导航、物体搜索等任务提供了结构化环境表示。该工作被应用于腿式机器人实地测试，验证了其在动态室内环境中预测物体空间分布的实用性，推动了语义场景补全与空间推理领域的发展。

当前挑战

该数据集面临的核心挑战体现在两个维度：在领域问题层面，需解决动态环境中物体位置不确定性的建模难题，传统基于先验空间配置的方法难以适应人类活动导致的布局变化；同时，场景构成的层级推理要求从房间级预测扩展到建筑级语义关联，而现有方法受限于局部信息提取。在构建过程中，数据标注需平衡1659类原始标签的语义粒度与计算效率，筛选标准需同时满足物体出现频率、任务相关性和类间关联性；此外，将常识性场景构成转化为数值化概率分布时，需设计兼顾计算复杂度与空间分辨率的网格表示方法，并解决大尺度场景中全局网格与局部房间网格的尺度兼容问题。

常用场景

经典使用场景

基于语义标注的真实3D空间数据集在机器人感知与场景理解领域具有重要应用价值。该数据集通过构建包含建筑物、房间和物体节点的层次化场景图，为机器人提供了理解人类生活环境的语义框架。其最经典的使用场景是支持机器人对未知室内环境进行探索和语义推理，例如在部分观测条件下预测未观察物体的可能位置分布。

解决学术问题

该数据集有效解决了三维场景理解中的关键科学问题：如何基于部分观测信息推断完整场景的语义布局。通过引入信念场景图(BSG)的概念，数据集将人类常识空间关系建模为联合概率分布，突破了传统方法对先验空间配置的依赖。其提出的CECI模型架构为处理动态环境中的物体位置不确定性提供了新范式，显著提升了机器人场景理解的泛化能力。

实际应用

在实际应用层面，该数据集已成功部署于波士顿动力Spot四足机器人的室内环境探索任务。通过实时构建3D场景图并预测关键物体的概率分布，系统能够模拟人类的空间推理能力，在公共餐厅、等候区等复杂场景中准确定位目标物体。这种能力对于灾难救援、城市巡检等需要自主探索的机器人应用具有重要实践价值。

数据集最近研究

最新研究方向

在机器人感知与场景理解领域，基于语义标注的真实3D空间数据集正推动着场景图技术的革新。最新研究聚焦于通过Belief Scene Graphs (BSG)实现常识性场景构图，利用图卷积网络和神经符号化方法预测未观察物体的空间分布。该方向突破了传统3D场景图在动态环境中的局限性，通过融合大型语言模型构建的空间本体，显著提升了机器人对复杂室内场景的推理能力。相关成果已应用于四足机器人自主探索系统，为灾害救援、城市巡检等现实任务提供了可解释的环境理解框架。

相关研究论文

• Estimating Commonsense Scene Composition on Belief Scene Graphs

  瑞典吕勒奥工业大学计算机、电气和空间工程学院机器人与人工智能团队 · 2025年