DynOPETs

DynOPETs是一个包含175个日常物体的RGB-D视频序列的数据集，这些物体在典型的桌面背景下进行捕获，具有充足的视频特征。数据集分为两个子集：COPE-119和UOPE-56，分别包含属于6个常见类别和其它常见家庭物体的视频序列。数据集提供了超过530,000个注释，包括实例分割、相机内参和外参、物体位姿和相机位姿。该数据集旨在促进动态物体位姿估计领域的研究。DynOPETs is a dataset containing 175 RGB-D video sequences of daily objects, captured in typical desktop environments with rich video features. The dataset is split into two subsets: COPE-119 and UOPE-56. COPE-119 includes video sequences from 6 common categories, while UOPE-56 contains sequences of other common household objects. The dataset provides over 530,000 annotations, including instance segmentation, camera intrinsic and extrinsic parameters, object poses, and camera poses. This dataset aims to advance research in the field of dynamic object pose estimation.

原始信息汇总

DynOPETs 数据集概述

数据集标题

DynOPETs: A Versatile Benchmark for Dynamic Object Pose Estimation and Tracking in Moving Camera Scenarios

作者信息

• Xiangting Meng (1*)
• Jiaqi Yang (1*)
• Mingshu Chen (2)
• Chen [信息不完整]

数据集特点

1. 应用场景：面向移动相机场景下的动态物体姿态估计与追踪
2. 基准特性：
   • 多功能性 (Versatile)
   • 动态物体处理能力 (Dynamic Object)
   • 移动相机场景适配 (Moving Camera Scenarios)

命名含义

名称"DynOPETs"为以下术语的缩写组合：

• Dynamic
• Object
• Pose
• Estimation
• Tracking

注：标注*表示共同第一作者，上标数字表示作者所属机构编号（但页面未完整显示所有机构信息）

搜集汇总

数据集介绍

构建方式

DynOPETs数据集通过创新的数据采集与标注流程构建，专注于动态物体在移动相机场景下的姿态估计与追踪。该数据集采用高效的标注方法，融合了姿态估计与姿态追踪技术生成伪标签，并通过姿态图优化进行精细化处理。具体而言，数据采集使用消费级iPad Pro结合Structure Sensor Pro深度相机，捕捉RGB-D视频序列，并通过运动捕捉系统提供相机姿态。物体姿态标注则通过整合绝对姿态估计（基于FoundationPose与EKF/RTS平滑器）和相对姿态估计（基于TAP模型的点追踪），最终通过姿态图优化实现全局一致性。

特点

DynOPETs数据集包含175个独特日常物体的RGB-D视频序列，涵盖6个常见类别（如瓶子、碗、相机等）及其他家庭用品，总计约210K帧图像与530K标注。其核心特点在于同时标注了动态物体与移动相机的6自由度姿态，解决了现有数据集中静态假设的局限性。数据集分为COPE-119（类别级姿态估计）和UOPE-56（未知物体姿态估计）两个子集，支持多样化的算法评估。此外，通过融合多模态传感器数据与自动化标注流程，该数据集在保持高精度的同时显著减少了人工干预。

使用方法

DynOPETs数据集适用于类别级与未知物体的6D姿态估计、物体姿态追踪等任务。使用时需加载RGB-D序列、物体CAD模型及同步的姿态标注（包括相机与物体轨迹）。评估指标涵盖3D IoU、旋转/平移误差（如5°2cm）、VSD/MSSD/MSPD（未知物体）以及ATE/RPE（追踪任务）。研究者可利用其细分的训练集与测试集验证算法性能，或通过微调预训练模型（如AGPose、SecondPose）验证标注质量。数据集还支持结合SAM2分割结果进行公平比较，推动动态场景下姿态估计技术的进展。

背景与挑战

背景概述

DynOPETs数据集由上海科技大学Mobile Perception Lab和复旦大学Multi-Agent Robotic Systems Lab联合开发，于2025年3月首次发布。该数据集针对计算机视觉与机器人领域中的动态物体6-DoF姿态估计与追踪问题，填补了移动相机场景下真实世界数据的空白。研究团队创新性地融合绝对姿态估计与相对姿态追踪技术，通过姿态图优化生成精确标注，包含175个日常物体的RGB-D视频序列及对应CAD模型。作为首个支持相机与物体同步运动的基准数据集，DynOPETs推动了增强现实、机器人抓取等应用领域的发展，其标注效率较传统人工标注提升约15倍。

当前挑战

在领域问题层面，DynOPETs需解决移动相机视角下动态物体姿态估计的三重挑战：1) 对称几何体导致的姿态歧义性，如碗状物体的旋转对称性造成标注误差；2) 低纹理物体的特征提取困难，影响追踪算法的稳定性；3) 快速运动带来的运动模糊问题，降低RGB-D传感器的数据质量。在构建过程中，研究团队面临传感器同步精度（时间对齐误差<2ms）、深度数据噪声消除（反射表面点云缺失率达37%）、以及大规模数据标注一致性（跨175个物体实例的坐标系标准化）等工程挑战。通过开发基于EKF平滑器和TAP模型的混合标注管线，最终将姿态标注误差控制在平移1.2cm、旋转2度的阈值内。

常用场景

经典使用场景

在计算机视觉与机器人领域，动态物体位姿估计与跟踪是增强现实（AR）、混合现实（MR）及机器人操作等应用的核心技术。DynOPETs数据集通过提供包含动态物体与移动相机场景的高质量RGB-D序列及6自由度位姿标注，成为该领域的重要基准。其经典使用场景包括评估和开发能够在复杂动态环境下稳定工作的物体位姿估计算法，特别是在相机与物体同时运动的情况下。

解决学术问题

DynOPETs数据集解决了动态场景下物体位姿估计中缺乏真实世界标注数据的难题。通过创新的自动化标注流程，该数据集提供了精确的物体和相机位姿标注，填补了现有数据集中静态假设的不足。其意义在于推动了类别级和未见物体位姿估计（COPE/UOPE）方法的发展，并为动态物体跟踪（OPT）研究提供了可靠的评估平台。

衍生相关工作

DynOPETs的发布催生了一系列相关研究，如基于该数据集优化的类别级位姿估计方法（如AGPose、SecondPose）和动态跟踪算法（如BundleTrack、FoundationPose）。其标注流程中的位姿图优化技术也被后续工作借鉴，用于提升其他动态场景数据集的标注效率。此外，数据集中的对称物体和复杂材质挑战启发了针对纹理缺失和反射问题的算法改进。