PoseTraj-10K

PoseTraj-10K是一个专门为提高视频生成模型中物体轨迹控制能力而设计的三维合成数据集。该数据集由爱丁堡大学和南洋理工大学的研究人员构建，包含了2000个不同物体沿着复杂旋转轨迹的10000个视频，每个视频都配有了精确的三维边界框标注。数据集旨在帮助模型更好地理解物体在轨迹上的位置以及潜在的旋转变化，从而在视频生成中实现更准确的轨迹跟踪和更自然的外观表现。

PoseTraj-10K is a 3D synthetic dataset specifically developed to enhance the object trajectory control capability of video generation models. It was constructed by researchers from the University of Edinburgh and Nanyang Technological University. The dataset includes 10,000 videos of 2,000 distinct objects, where each video depicts an object following a complex rotational trajectory and is paired with precise 3D bounding box annotations. This dataset aims to help models better comprehend the positional information and underlying rotational variations of objects along their trajectories, thereby facilitating more accurate trajectory tracking and more natural visual rendering in video generation tasks.

搜集汇总

数据集介绍

构建方式

PoseTraj-10K数据集的构建采用了高度控制的合成方法，旨在解决现实世界视频中复杂运动（如大范围旋转）的稀缺性和难以标注的问题。首先，研究团队在Blender中搭建了一个虚拟场景，并从Objaverse中筛选了2000个高质量的3D模型。每个模型被赋予随机的旋转角度、轨迹形状和长度，并在动画过程中沿着指定的轨迹运动，同时保持旋转中心以模拟旋转运动。通过这种方式，生成了包含10,000个视频的数据集，每个视频都伴随着精确的3D边界框标注，作为模型预训练的关键监督信号。

使用方法

PoseTraj-10K数据集的使用方法主要分为两个阶段。首先，在预训练阶段，模型通过3D边界框的监督信号学习物体的位置和姿态变化，生成具有准确3D对齐的视频帧。随后，在第二阶段，模型进一步微调，专注于物体外观的细节生成。最后，模型在真实世界视频数据集上进行相机解耦微调，以增强其对现实世界视频的泛化能力。实验表明，该数据集显著提升了模型在旋转轨迹控制中的表现，尤其是在涉及复杂旋转或动态物体的情况下，模型能够生成更加准确和自然的视频。

背景与挑战

背景概述

PoseTraj-10K数据集由爱丁堡大学和南洋理工大学的研究团队于2025年提出，旨在解决视频生成领域中物体在复杂轨迹下的6D姿态变化问题。该数据集包含10,000个合成视频，涵盖了2000个不同物体在旋转轨迹下的运动，并引入了3D边界框作为中间监督信号，以增强模型对物体姿态变化的感知能力。PoseTraj-10K的提出填补了现有视频生成模型在处理旋转轨迹时的不足，特别是在3D理解方面的局限性。该数据集通过两阶段的姿态感知预训练框架，显著提升了模型在复杂轨迹下的生成能力，并在多个基准数据集上展示了其在轨迹精度和视频质量上的优越性。

当前挑战

PoseTraj-10K数据集面临的挑战主要集中在两个方面。首先，在领域问题方面，现有的视频生成模型在处理涉及物体旋转的复杂轨迹时，往往难以准确捕捉物体的6D姿态变化，导致生成的视频在旋转场景下表现不佳。其次，在数据集构建过程中，研究人员面临的主要挑战是如何从开放域视频中准确提取物体的6D姿态信息，尤其是在复杂运动和相机运动耦合的情况下。为了解决这些问题，研究团队通过构建合成数据集，避免了从真实视频中提取6D姿态的困难，并通过3D边界框的引入，增强了模型对物体姿态变化的感知能力。然而，如何进一步提升模型在动态物体和复杂旋转场景下的表现，仍然是未来研究的重要方向。

常用场景

经典使用场景

PoseTraj-10K数据集在视频生成领域中被广泛应用于轨迹引导的视频生成任务。该数据集通过提供包含旋转轨迹的合成视频，帮助模型在生成过程中感知物体的6D姿态变化。经典的使用场景包括生成物体在复杂旋转轨迹下的运动视频，特别是在需要精确控制物体姿态和位置的场景中，如虚拟现实、动画制作和机器人路径规划。

解决学术问题

PoseTraj-10K数据集解决了现有视频生成模型在处理物体旋转运动时的局限性。传统模型在生成物体运动时，往往只能处理平移运动，而无法准确感知和生成涉及旋转的复杂轨迹。PoseTraj-10K通过引入3D边界框作为中间监督信号，增强了模型对物体姿态变化的理解，从而在生成旋转轨迹时表现出更高的准确性和稳定性。这一突破为视频生成领域提供了新的研究方向，特别是在3D感知和姿态控制方面。

实际应用

PoseTraj-10K数据集的实际应用场景广泛，涵盖了虚拟现实、增强现实、动画制作和机器人路径规划等多个领域。在虚拟现实中，该数据集可以用于生成逼真的物体运动，增强用户的沉浸感。在动画制作中，它可以帮助动画师更精确地控制角色的姿态和运动轨迹。此外，在机器人路径规划中，PoseTraj-10K可以用于训练机器人感知和理解复杂的三维运动轨迹，从而提高其自主导航和操作能力。

数据集最近研究

最新研究方向

近年来，轨迹引导的视频生成技术在控制物体运动方面取得了显著进展，然而，现有模型在处理涉及6D姿态变化的物体运动时仍面临挑战，尤其是在大范围旋转的情况下。PoseTraj-10K数据集的提出为解决这一问题提供了新的思路。该数据集通过合成10,000个包含旋转轨迹的视频，并结合3D边界框作为中间监督信号，显著提升了模型对物体姿态变化的感知能力。PoseTraj模型采用了两阶段姿态感知预训练框架，首先通过3D边界框引导的定位训练，增强模型对物体位置和姿态的理解，随后通过物体中心重建进一步优化物体外观。实验表明，PoseTraj在旋转轨迹的3D对齐拖动任务中表现出色，尤其在轨迹精度和视频质量上超越了现有基线模型。这一研究不仅推动了轨迹引导视频生成技术的发展，还为未来在可控视频生成领域的进一步探索提供了新的方向。

相关研究论文

• PoseTraj: Pose-Aware Trajectory Control in Video Diffusion

  爱丁堡大学, 南洋理工大学 · 2025年