PartDrag-4D

PartDrag-4D数据集是一个大规模的4D动态数据集，由清华大学、密歇根大学、北京大学和BAAI项目共同开发。该数据集包含了超过20,000个状态下的多视角观察数据，基于PartNet-Mobility数据集构建，提供静态物体的部件级运动的多视角图像。数据集覆盖了8个类别的738个网格，通过在不同位置渲染物体的运动状态来生成。它旨在为机器人操作任务提供支持，并推动部件级运动学习领域的研究。PartDrag-4D Dataset is a large-scale 4D dynamic dataset jointly developed by Tsinghua University, University of Michigan, Peking University, and the BAAI project. This dataset contains over 20,000 sets of multi-view observation data across different states, is constructed based on the PartNet-Mobility dataset, and provides multi-view images of part-level motions for static objects. The dataset covers 738 meshes across 8 categories, and is generated by rendering the motion states of objects at various positions. It aims to support robotic manipulation tasks and promote research in the field of part-level motion learning.

搜集汇总

数据集介绍

构建方式

PartDrag-4D数据集构建于PartNet-Mobility数据集之上，通过精心设计的流程生成多视角观测数据。研究团队从738个跨8类别的网格模型中，通过动画化可动部件在6个运动阶段间的状态变化，共生成20,548个独特状态。每个状态通过Blender渲染引擎生成12个固定视角的512×512分辨率RGBA图像，并精确记录相机参数。针对可动部件表面，采用基于投影的2D拖拽点采样策略，通过深度校验确保采样点位于部件可见表面，从而构建起包含网格、点云及运动点数据的完整4D观测体系。

特点

该数据集的核心价值体现在三维动态建模的全面性与精确性。其独特之处在于同步捕获部件级几何、外观与运动信息，每个样本包含多视角渲染图像、相机参数及部件运动轨迹。数据集覆盖20,000余个运动状态，特别保留trashcan类别作为验证集，有效支持模型泛化能力测试。相较于传统单视角视频数据，PartDrag-4D通过多视角一致性标注与精确的部件运动参数，为4D重建任务提供了前所未有的时空关联数据，其结构化标注体系更可直接应用于机器人操作策略训练。

使用方法

使用该数据集需遵循三维动态建模的特定流程。首先加载多视角图像序列与对应相机参数作为初始观测，结合标注的2D拖拽向量作为动作输入。研究者可通过两阶段训练框架进行模型开发：第一阶段利用3D高斯参数监督运动学习，第二阶段通过光度损失优化外观重建。评估时建议采用新颖视图合成指标（PSNR/SSIM/LPIPS），通过渲染8个256×256视角图像与真值比对。对于机器人应用，可从生成的高斯分布中提取部件网格与运动轴，直接导入Isaac Gym等仿真平台进行零样本策略验证。

背景与挑战

背景概述

PartDrag-4D数据集由清华大学、北京大学和北京智源人工智能研究院的研究团队于2025年提出，旨在解决物体部件级动态建模这一关键科学问题。该数据集基于PartNet-Mobility数据集构建，包含738个跨8个类别的物体模型，通过12个视角捕捉超过20,000种部件运动状态，为4D重建任务提供了丰富的多视角观测数据。作为世界模型研究的重要组成部分，PartDrag-4D通过精确记录部件级几何形变与运动轨迹，显著推动了机器人操作、增强现实等领域的算法发展，其提出的3D高斯重建框架为动态场景建模设立了新的技术标准。

当前挑战

PartDrag-4D数据集面临的核心挑战体现在两个维度：在领域问题层面，传统方法依赖2D视频扩散模型难以实现多视角一致的3D运动表征，且分钟级的计算延迟无法满足实时交互需求；在构建过程层面，数据稀缺问题尤为突出，现有3D数据集缺乏精确的部件运动标注，而将静态3D先验知识迁移到动态场景时易发生灾难性遗忘。此外，如何设计有效的拖拽交互嵌入模块来捕捉多粒度运动特征，以及平衡几何保持与运动建模的对抗性目标，都是构建过程中需要攻克的技术难点。

常用场景

经典使用场景

PartDrag-4D数据集在计算机视觉领域中被广泛用于研究物体部件级别的动态建模。通过提供多视角观测数据，该数据集支持从单视角图像预测物体部件运动的任务，为构建高效的世界模型提供了关键数据支持。其经典应用场景包括机器人操作任务中的物体部件运动预测，以及增强现实/虚拟现实中动态物体的交互式编辑。

解决学术问题

PartDrag-4D数据集有效解决了部件级别动态建模中的数据稀缺问题，为研究同时建模物体外观、几何结构和部件运动提供了基准。该数据集克服了传统方法依赖2D视频表示的局限性，通过提供超过20,000个状态的详细标注，支持了4D重建技术的发展，显著提升了部件运动预测的精度和效率。

衍生相关工作

PartDrag-4D数据集推动了多项相关研究的发展，包括基于3D高斯重建的动态建模方法PartRM，以及改进的部件运动预测算法。这些工作扩展了数据集的应用范围，在机器人操作、虚拟现实等领域产生了深远影响，为后续研究提供了重要的技术基础。