Arti4D-Semantic

Arti4D-Semantic是由弗莱堡大学、苏黎世联邦理工学院等联合构建的开放世界移动操作数据集，包含62段真实场景RGB-D序列，标注了600次物体交互动作及层级化语义标签。数据集创新性地融合了物体运动轴注释与父子关系标签，涵盖三种观测范式（第一人称、第三人称及机器人视角），支持语义-运动联合理解。其通过人类演示记录铰接物体（如柜门、抽屉）的开启状态变化，旨在解决移动机械臂在动态环境中的长程操作问题，为机器人提供物体运动预测的先验知识。Arti4D-Semantic is an open-world mobile manipulation dataset jointly constructed by the University of Freiburg, ETH Zurich, and other institutions. It includes 62 real-world RGB-D sequences, annotated with 600 object interaction actions and hierarchical semantic labels. This dataset innovatively integrates object motion axis annotations and parent-child relationship tags, covering three observation paradigms: first-person, third-person, and robot-centric views, to support joint semantic-motion understanding. It records the opening state changes of articulated objects such as cabinet doors and drawers via human demonstrations, aiming to address the long-range manipulation challenges of mobile robotic arms in dynamic environments and provide prior knowledge for robot object motion prediction.

搜集汇总

数据集介绍

构建方式

在机器人感知与交互领域，构建能够同时理解语义与运动学的场景表示是推动移动操作能力发展的关键。Arti4D-Semantic数据集通过整合62段真实环境下的RGB-D序列，系统性地采集了包含600次物体交互动作的观测数据。其构建过程采用多视角观测范式，涵盖第一人称、第三人称及机器人中心视角，确保了数据在视角与交互方式上的多样性。数据标注不仅包含物体实例分割与语义类别，还精细标注了铰接物体的运动轴及其包含的子物体关系，形成了层次化的场景图结构，为语义-运动学联合理解提供了坚实基础。

特点

该数据集的核心特点在于首次将铰接物体估计与语义三维场景理解在真实世界设置中深度融合。其独特之处在于提供了层次化的物体语义标注，包括父子关系标签与物体运动轴注释，能够准确反映容器与内含物体之间的动态关联。数据覆盖了抽屉、柜门、滑动柜等多种日常铰接物体，并包含三种不同的观测范式，极大地增强了模型的泛化能力与实用性。此外，数据集标注考虑了铰接状态对子物体可见性的影响，使得内含物体的识别与状态估计更具现实意义。

使用方法

Arti4D-Semantic数据集主要服务于铰接三维场景图的构建与评估研究。使用者可基于其提供的RGB-D序列与丰富标注，开发与验证语义-运动学联合感知算法，例如铰接参数估计、动态物体分割以及包含关系推理。该数据集支持对交互分割、铰接估计、三维部件分割及子物体发现等多任务进行系统评估。在实际应用中，研究者可利用该数据集训练模型，进而赋能移动操作机器人在家庭等日常环境中对铰接物体进行鲁棒的导航与操控，实现从感知到行动的无缝衔接。

背景与挑战

背景概述

Arti4D-Semantic数据集由弗莱堡大学、苏黎世联邦理工学院和波恩大学的研究团队于2026年发布，旨在解决移动机器人在真实开放世界环境中操作可动物体时面临的语义与运动学理解割裂问题。该数据集作为MoMa-SG框架的基准，首次将层次化物体语义、父子关系标注与物体运动轴注释相结合，覆盖了62个真实场景RGB-D序列中的600次物体交互，并包含三种不同的观察范式。其核心研究问题在于如何从单次交互演示中构建兼具语义与运动学信息的3D场景图，从而为长时程移动操作提供可推理的环境表示，推动了具身智能在动态人机交互场景中的感知与规划能力发展。

当前挑战

该数据集旨在解决可动物体估计与语义场景理解相结合的综合性挑战，具体包括：在领域层面，需从非结构化真实世界观察中准确推断旋转与平移关节的运动参数，并建立物体部件、容器与内含物之间的层次化语义关联；在构建过程中，面临标注复杂性高、交互序列中手部遮挡与视角变化显著、以及不同观察范式（自中心、他中心与机器人中心）下数据对齐与标注一致性的难题。此外，数据集还需确保在部分观测、动态相机运动及深度噪声干扰下，仍能提供可靠的关节轴与语义关系真值，以支持鲁棒的移动操作算法评估。

常用场景

经典使用场景

在机器人感知与操作领域，Arti4D-Semantic数据集为构建语义-运动学三维场景图提供了关键基准。该数据集通过62个真实世界RGB-D序列，记录了人类与各类铰接物体（如柜门、抽屉）的交互过程，并提供了层次化的物体语义标签与运动轴标注。其经典使用场景在于训练和评估能够从单次交互演示中推断物体运动学模型的算法，使机器人能够理解铰接物体的运动规律，从而在动态家居环境中实现精确的移动操作。

实际应用

该数据集的实际应用价值主要体现在赋能服务机器人和移动操作平台。基于Arti4D-Semantic训练的系统能够使机器人在家庭、办公室等日常环境中，自主完成打开冰箱门、拉开抽屉、操作橱柜等长时程移动操作任务。例如，机器人可以通过分析人类演示视频，构建包含物体运动学信息的场景图，进而规划出符合物体运动约束的抓取和操作轨迹。这种能力对于开发能够适应多样化、非结构化环境的通用型助理机器人具有重要的工程意义。

衍生相关工作

围绕Arti4D-Semantic数据集，衍生出了一系列专注于铰接物体理解与操作的研究工作。其核心框架MoMa-SG提出了一种从交互演示中构建语义-运动学三维场景图的统一方法，并引入了新颖的twist优化目标以鲁棒估计运动参数。相关工作进一步扩展了该范式，例如探索基于高斯溅射或神经辐射场的物体形状与运动联合重建方法，以及将开放词汇语义理解集成到运动学场景图中以实现语言驱动的任务规划。这些工作共同推动了机器人对动态、可交互环境的认知与操作能力。