QueST-PartNetMobility-SAPIEN

QueST PartNet-Mobility SAPIEN数据集是一个用于长时程点跟踪压力测试的同步RGB-D模拟序列数据集。该数据集伴随ICLR 2026 CAO研讨会的论文“QueST: Persistent Queries as Semantic Monitors for Drift Suppression in Long-Horizon Tracking”发布，旨在支持QueST框架——该框架用持久的语义查询替代帧到帧的马尔可夫跟踪，在长时程铰接序列上相比TAP-Net实现了67.7%的平均位置误差（APE）减少。数据集包含从PartNet-Mobility铰接物体在SAPIEN物理渲染器中渲染的模拟序列，专门设计用于在物体铰接、遮挡和视角变化的复杂条件下评估和提升跟踪算法的长时程性能。数据按操作复杂度分为四个级别（manipulation_1至manipulation_4），分别对应1至4个关节被顺序驱动，其中级别4包含240帧，是专为暴露马尔可夫跟踪器漂移而设计的长时程压力测试。数据规模方面，数据集共包含18,442张图像/数据行，总大小约2.27 GB。每个数据序列提供3个同步的RGB-D视角。数据特征包括视频序列、可供性可视化图像、操作级别标签、采集ID、物体ID、关节数量、数据分割（训练集16,000样本，测试集2,442样本）以及深度数据存在标志。每个序列的文件夹包含帧序列（PNG格式的RGB-D帧）、像素级可供性标注图、完整序列视频、可供性标注可视化摘要以及包含物体ID、关节配置、真实3D轨迹、相机内参等信息的元数据文件。数据集涵盖旋转和棱柱形两种铰接类型，物体类别包括储物家具、家用电器和铰链设备等。适用于图像分割、目标检测、视频分类、点跟踪、机器人操作、可供性学习、语义漂移研究和具身人工智能等多种任务。数据集采用CC-BY 4.0许可证，允许包括商业用途在内的任何目的使用，需注明出处。

原始信息汇总

数据集概述

QueST PartNet-Mobility SAPIEN Dataset 是一个用于长时域点跟踪的仿真数据集，旨在评估和缓解在关节物体、遮挡和视角变化场景下的跟踪漂移问题。该数据集随论文《QueST: Persistent Queries as Semantic Monitors for Drift Suppression in Long-Horizon Tracking》发布，该论文被 CAO Workshop at ICLR 2026 接收。

基本信息

• 许可协议: CC-BY 4.0
• 任务类型: 图像分割、目标检测、视频分类
• 标签: 机器人学、跟踪、关节物体、点跟踪、长时域、SAPIEN、PartNet-Mobility、RGB-D、操作、可供性、语义漂移、具身AI、视频、深度、多视角
• 数据集大小: 10K < n < 100K
• 总样本数: 18,442 (训练集 16,000，测试集 2,442)
• 总大小: 2.27 GB

数据集内容

• 数据来源: 使用 SAPIEN 渲染器从 PartNet-Mobility 数据集中的关节物体生成同步的 RGB-D 仿真视频序列。
• 复杂度级别: 包含四个操作级别，根据同时驱动的关节数量（1至4个）和最大帧数（约60至240帧）划分，用于递增地测试跟踪难度。
• 数据结构: 每个序列存储为一个独立文件夹，按操作级别和物体ID组织，包含 RGB-D 帧序列、像素级可供性图、完整视频、可视化摘要和元数据文件。

数据特征

• 视频: 完整序列视频
• 可供性可视化: 像素级可供性图的可视化
• 操作级别: 类别标签 (manipulation_1 至 manipulation_4)
• take_id: 字符串，序列标识
• object_id: 字符串，物体标识
• n_joints: 整数，关节数量
• split: 字符串，数据划分 (train/test)
• has_depth: 布尔值，是否包含深度数据

数据划分

划分	样本数
训练集	16,000
测试集	2,442

关键特性

• 多视角: 每个序列来自3个同步的RGB-D视角。
• 关节类型: 包含旋转关节和平移关节。
• 物体类别: 涵盖储物家具、家电、铰链设备等。
• 提供详细标注: 包括像素级可供性标注和3D真实轨迹。
• 长时域压力测试: Level 4 序列长达240帧，专门设计用于暴露马尔可夫跟踪器的漂移问题。

基准性能

在该数据集上，提出的 QueST 方法相较于最先进的 TAP-Net 实现了 67.7% 的平均点位误差 (APE) 降低，并显著提升了身份准确率，同时保持了有界的误差增长。

方法	APE ↓	Drift@100 ↓	身份准确率 ↑
RAFT-3D	0.341	0.472	8.7%
CoTracker	0.276	0.398	19.2%
TAP-Net	0.251	0.372	21.4%
QueST (ours)	0.081	0.155	86.5%

使用方式

• 加载数据集: 使用 Hugging Face datasets 库的 load_dataset 函数。
• 加载特定序列元数据: 使用 huggingface_hub 的 hf_hub_download 函数下载 metadata.json 文件。
• 加载帧序列: 使用 huggingface_hub 的 snapshot_download 函数下载特定序列的帧文件夹。

搜集汇总

数据集介绍

构建方式

在机器人操作与具身智能研究领域，针对铰接物体在长时域跟踪任务中面临的语义漂移与遮挡挑战，QueST-PartNetMobility-SAPIEN数据集应运而生。该数据集依托SAPIEN物理引擎，从PartNet-Mobility资产库中选取涵盖存储家具、电器及铰链设备等多种类别的铰接物体，通过渲染生成同步的RGB-D仿真序列。每个序列以“take”文件夹的形式组织，包含原始帧序列、像素级功能地图、压缩视频及详尽的元数据文件。操作复杂度依次递增，从单关节驱动的短时基线逐步过渡至四关节协同驱动的240帧长时域挑战，旨在系统性地暴露马尔可夫跟踪器在关节运动与视角变化下的累积误差。

特点

该数据集的核心特质在于其精心设计的层级化复杂度结构与多维标注体系。依据同时驱动的关节数量，数据划分为四个操作等级，其中最高等级通过顺序激活四个关节来构造长时域压力测试场景，精准衡量跟踪器的漂移抑制能力。每一帧均提供来自三个同步视角的RGB-D图像，并配备像素级功能区域标注与三维真实轨迹，为模型提供丰富的时空上下文信息。数据集总计包含18,442张图像，规模适中却极具针对性，其独特的语义监控设计——借助持久化查询实现跨时间步的全局注意力机制——相较于TAP-Net实现了67.7%的平均位置误差缩减，彰显了其在长时域跟踪任务中的标杆价值。

使用方法

研究者可通过Hugging Face Datasets库便捷地加载完整数据集或按需筛选特定复杂度层级，例如仅加载操作等级四的长时域序列用于评估模型在极端条件下的表现。对于细粒度的序列分析，可利用Hugging Face Hub下载指定take的元数据JSON文件，获取关节配置、相机内参及三维轨迹真实值等关键信息。帧级跟踪评估则推荐采用快照下载策略，获取特定序列的RGB-D帧序列并按文件名排序后以PIL库加载。复现论文基准结果时，可通过官方GitHub仓库提供的脚本一键下载数据集，并运行评估模块对指定复杂度的序列进行测试，生成平均位置误差、漂移率及身份保持精度等核心指标。

背景与挑战

背景概述

QueST-PartNetMobility-SAPIEN数据集由印度IIIT阿拉哈巴德大学与德国不来梅大学的研究团队于2026年联合创建，核心作者包括Mayank Anand、Mohammad Saqlain、Kyan Mahajan等。该数据集聚焦于具身智能领域中关节物体在长时间跨度下的点追踪问题，旨在解决因物体铰接运动、遮挡和视角变化导致的传统马尔可夫追踪器性能退化。基于SAPIEN物理引擎从PartNet-Mobility数据集渲染生成，涵盖18,442帧同步RGB-D序列，包含四种操作复杂度等级，最大支持4个关节、240帧的长时序追踪。作为QueST框架的关键支撑，该数据集在ICLR 2026 CAO研讨会上发布，其提供的标注数据将追踪精度提升至86.5%的身份保持准确率，平均位置误差降低67.7%，为长时序关节物体追踪研究树立了新的基准。

当前挑战

该数据集所解决的领域核心挑战在于长时序（Long-Horizon）关节物体追踪中的语义漂移（Semantic Drift）问题。传统帧间马尔可夫追踪器在处理超过100帧的序列时，会累积近线性的追踪误差，而关节物体的多自由度运动与频繁遮挡进一步加剧了这种退化。数据集构建过程中需克服三重困难：其一，从PartNet-Mobility中精选涵盖储物家具、电器和铰链设备的多样化关节物体类别；其二，在SAPIEN引擎中精确配置1至4个关节的锁链式时序驱动逻辑，并同步三个摄像机视角采集数据；其三，生成像素级可操作区域标注与三维真实轨迹，这对仿真环境中的物理一致性和标注保真度提出了严苛要求。

常用场景

经典使用场景

在具身智能与机器人操作领域，长时间跨度的关节物体点跟踪是一项极具挑战的任务，而QueST-PartNetMobility-SAPIEN数据集正是为此而生。该数据集源自SAPIEN物理仿真引擎与PartNet-Mobility关节物体库，包含了从简单单关节到复杂四关节、最长240帧的同步RGB-D仿真序列，并提供了像素级可供性标注与三维真值轨迹。其最经典的使用场景是作为长时程关节物体点跟踪的基准测试平台，研究者可在四种不同操作复杂度级别上评估跟踪算法在面对物体关节运动、频繁遮挡及视角变化时的鲁棒性与漂移抑制能力。

衍生相关工作

围绕该数据集已衍生出一系列富有影响力的研究工作，其中最核心的是其伴随论文提出的QueST框架，该工作发表于ICLR 2026的CAO Workshop。QueST以持久化语义查询为设计核心，通过构建跨帧全局注意力机制替代传统逐帧马尔可夫推断，在长期跟踪的漂移抑制问题上取得了突破性进展。此外，该数据集为关节物体可供性学习、多视图三维重建与时域分割等下游任务提供了标准化评测素材，已催生出多个关于长时程视觉记忆建模与机器人操作规划的研究分支。其多层级的复杂度设计也使之成为评估大规模预训练跟踪模型泛化能力的理想选择。

数据集最近研究

最新研究方向

针对长时程关节物体点跟踪中的语义漂移问题，QueST-PartNetMobility-SAPIEN数据集为前沿的基于持久语义查询的跟踪框架提供了关键支撑。该数据集由SAPIEN物理引擎渲染，涵盖PartNet-Mobility中多种铰接物体的同步RGB-D序列，并依据关节驱动数量划分为四个操作复杂度等级，其中Level 4的240帧长序列专用于压力测试马尔可夫跟踪器在严重遮挡与视角变换下的累积误差。结合CAO Workshop at ICLR 2026上提出的QueST方法，该数据成为验证全局时间注意力机制在抑制漂移方面核心效能的基准——相较于TAP-Net，QueST实现了平均位置误差降低67.7%、身份保持准确率跃升至86.5%的突破。这一前沿研究方向将推动具身智能体在非结构化长期操作任务中实现鲁棒的语义一致性跟踪，为下一代交互式机器人系统打下基础。