HM3DSem-SQR

HM3DSem-SQR是由南京大学团队构建的语义场景图数据集，旨在支持复杂逻辑查询的评估，包括否定关系、空间约束及多属性组合检索。该数据集通过层级化的Floor-Room-Area-Object结构组织环境语义信息，融合视觉特征与自然语言描述作为显式语义锚点。其构建过程采用异步双流架构，将几何分割与语义推理解耦，并通过事件触发机制实现增量更新。主要应用于具身智能导航领域，解决传统方法在复杂语言指令下的可解释性推理难题。

HM3DSem-SQR is a semantic scene graph dataset constructed by the research team from Nanjing University, which aims to support the evaluation of complex logical queries including negative relations, spatial constraints and multi-attribute combined retrieval. This dataset organizes environmental semantic information through a hierarchical Floor-Room-Area-Object structure, and integrates visual features and natural language descriptions as explicit semantic anchors. Its construction adopts an asynchronous two-stream architecture that decouples geometric segmentation from semantic reasoning, and realizes incremental updates via an event-triggered mechanism. It is mainly applied in the field of embodied intelligent navigation, addressing the interpretability reasoning challenges of traditional methods under complex language instructions.

搜集汇总

数据集介绍

构建方式

在机器人语义地图构建领域，HM3DSem-SQR数据集通过专家远程操作生成符合真实探索模式的轨迹，并基于HM3D-Sem场景构建而成。该数据集摒弃了随机采样策略，采用人工设计的36条轨迹，每条轨迹均配有同步的传感器数据流。在此基础上，研究者手动编制了涵盖空间关系、逻辑否定、模糊描述等复杂语义约束的6084条结构化查询指令，旨在系统性地评估语义地图对高层次组合推理的支持能力。

特点

HM3DSem-SQR的核心特点在于其查询指令的复杂性与多样性。数据集将查询系统性地划分为四大类别：基础空间位置约束、空间关系约束、逻辑否定与复杂组合查询以及模糊描述查询。其中，逻辑否定类查询专门测试系统对“非”操作符的理解，模糊描述类查询则评估模型超越精确匹配的语义泛化能力。这种精细的层级化设计，使得该数据集能够全面检验语义地图在结构化拓扑、丰富语义表达及可解释推理等多方面的性能。

使用方法

该数据集主要用于评估开放词汇语义地图系统在复杂逻辑查询下的检索准确性与推理可靠性。在使用时，系统接收RGB-D数据流与相机位姿作为输入，在线构建语义地图。评估过程涉及对数据集中各类查询指令的响应，通过几何准确度（检索对象与真实位置的距离阈值）和语义准确度（对象是否真正满足指令意图）两项指标进行量化。此外，数据集支持进行大规模人工研究，以验证检索结果与人类意图的对齐程度，从而全面衡量语义地图在具身交互任务中的实际效用。

背景与挑战

背景概述

随着具身智能的兴起，机器人导航的研究范式正从几何精度优先转向语义理解优先。传统的高精度度量地图难以支撑基于自然语言指令的交互任务，这催生了面向高层环境抽象的三维语义场景图研究。在此背景下，南京大学等机构的研究团队于2026年提出了HM3DSem-SQR数据集。该数据集旨在评估语义地图在复杂逻辑查询下的推理能力，其核心研究问题是：如何构建一个能够支持可解释、可检索、且与人类意图对齐的层次化语义记忆系统，以服务于真实的具身交互任务。该数据集通过人工标注与轨迹采集，构建了涵盖否定、空间关系、模糊描述等多种复杂查询类型的基准，为评估语义地图的推理与泛化能力提供了重要支撑。

当前挑战

HM3DSem-SQR数据集旨在解决具身智能中语义地图检索与推理的核心挑战。其首要挑战在于如何使系统可靠地处理包含逻辑否定、链式空间关系及模糊属性约束的复杂自然语言查询，这超越了传统基于嵌入相似度的简单对象召回。其次，在数据集构建过程中，研究者面临如何从仿真环境中高效生成兼具语义丰富性与逻辑复杂性的高质量查询对。这需要设计精细的标注流程，在保证查询多样性的同时，为每个正样本挖掘具有足够区分度的困难负样本，以精准评估系统在复杂约束下的推理失败模式，避免评估偏差。

常用场景

经典使用场景

在具身人工智能领域，机器人导航正从几何精度转向语义理解，HM3DSem-SQR数据集应运而生，成为评估复杂空间语义检索能力的基准。该数据集通过人工遥操作生成真实探索轨迹，并构建了涵盖否定逻辑、空间关系与属性约束的多样化查询，其经典使用场景在于测试语义地图系统对多层次拓扑结构和人类意图的解析能力。例如，系统需处理“在厨房的桌子上找到一朵花，但不是红色的”这类包含否定与空间关系的复合指令，验证其能否在结构化场景图中实现精准的对象检索与推理。

衍生相关工作

围绕HM3DSem-SQR数据集，一系列经典研究工作得以衍生，进一步拓展了语义场景图与具身检索的前沿。例如，INHerit-SG框架利用该数据集验证其分层场景图构建与闭环检索机制，实现了语言索引知识库与几何地图的深度融合。同时，该数据集也催生了如Embodied-RAG的开放循环检索方法、HOV-SG的离线层次化图构建技术以及DualMap的动态开放词汇语义映射等对比研究，共同推动了3D场景理解从密集特征场向结构化、可解释知识表示的范式转变。

数据集最近研究

最新研究方向

在具身人工智能领域，语义场景图作为高级三维环境抽象的核心范式正经历深刻变革。HM3DSem-SQR数据集的构建标志着研究重心从传统的几何精度转向语义理解与逻辑推理的深度融合。该数据集支撑的前沿工作聚焦于构建可增量维护、层次化组织的语言索引知识库，通过引入自然语言描述作为显式语义锚点，使地图能够直接兼容人类意图解析。研究热点围绕事件触发的拓扑更新机制与闭环可解释检索展开，利用多角色大语言模型分解复杂查询，并结合视觉语言模型进行验证，显著提升了在否定、链式空间关系等复杂逻辑约束下的推理鲁棒性。这一方向推动了语义地图向轻量化、可扩展且与人类认知对齐的交互式知识系统演进，为机器人长期自主执行开放词汇导航与交互任务奠定了新的理论基础与评估基准。

相关研究论文

• INHerit-SG: Incremental Hierarchical Semantic Scene Graphs with RAG-Style Retrieval

  南京大学·新型软件技术国家重点实验室; 北京航空航天大学 · 2026年