PulpMotion

PulpMotion数据集是一个包含丰富字幕和高质量人体运动的人类运动和摄像机轨迹数据集。该数据集是为了支持联合生成人类运动和摄像机轨迹的任务而创建的，旨在解决电影制作中演员表演和摄像机工作之间的紧密互动问题。数据集由扩展版本的人类-摄像机数据集组成，拥有更多样本、运动字幕和更高的人体运动质量。PulpMotion数据集的创建是为了支持文本条件下的联合生成任务，通过一个简单的、与模型无关的框架，利用屏幕上由将人体关节投影到摄像机上引起的框架来强制多模态一致性。数据集在多个架构上的广泛评估表明了该方法在生成屏幕上相一致的人类-摄像机运动方面的通用性和有效性。PulpMotion is a human motion and camera trajectory dataset that encompasses rich motion captions and high-quality human motion data. This dataset was developed to support the joint generation task of human motion and camera trajectories, aiming to address the tight interaction between actor performances and camera operations in filmmaking. The dataset consists of an extended version of the Human-Camera Dataset, with more samples, motion captions, and higher-fidelity human motion. The PulpMotion dataset is created to support text-conditioned joint generation tasks, utilizing a simple, model-agnostic framework that enforces multimodal consistency via constraints derived from projecting human joints onto the camera's on-screen view. Extensive evaluations across multiple architectures have demonstrated the generality and effectiveness of this approach for generating screen-consistent human-camera motion.

搜集汇总

数据集介绍

构建方式

在影视制作领域，角色表演与镜头运动的协同关系构成了视觉叙事的基础。PulpMotion数据集通过TRAM三维姿态估计算法从真实视频中提取人体运动与相机轨迹数据，并引入基于视觉语言模型的多模态标注流程。该数据集采用投影重定位技术识别画面外人体关节点，并利用HumanML3D预训练扩散模型对低质量运动序列进行生成式修复，最终构建出包含193K样本、314小时时长的多模态协同数据集。

特点

该数据集在影视计算领域展现出显著的多模态完备性，同时提供相机轨迹描述、人体运动标注及对应的视觉画面特征。其样本长度中位数达107帧，时序覆盖度超越现有同类数据集，且通过运动修复流程显著提升了人体运动的物理合理性。特别值得关注的是，数据集通过九大关键关节的标准化设备坐标构建了屏幕空间投影表征，为研究人体-相机协同关系提供了精确的几何建模基础。

使用方法

在视觉内容生成任务中，研究者可将该数据集作为多模态协同训练的基准平台。通过联合自编码器学习人体运动、相机轨迹与屏幕投影的共享潜在空间，进而构建基于扩散模型的生成框架。实际应用时，可利用文本描述同时生成协调的人体动作与相机运动，并通过辅助采样机制增强多模态一致性，最终输出符合影视美学规范的动态序列。

背景与挑战

背景概述

PulpMotion数据集由法国国家科学研究中心与Inria等研究机构于2024年联合创建，旨在解决电影摄影学中人物运动与摄像机轨迹协同生成的核心问题。该数据集突破了传统单模态生成方法的局限，首次将文本描述、人体运动与摄像机轨迹纳入统一研究框架，通过构建包含193K样本的大规模多模态数据，为探索人物表演与镜头语言的内在关联提供了重要基础。其创新性地引入屏幕空间投影作为辅助模态，显著推动了计算机视觉与计算机图形学交叉领域的发展。

当前挑战

该数据集主要面临双重挑战：在领域问题层面，需解决人物运动与摄像机轨迹的跨模态对齐难题，确保生成内容在屏幕空间保持连贯构图，避免人物出框或构图失衡；在构建过程中，需克服视频源数据中人体姿态估计的精度问题，特别是处理局部遮挡和运动模糊带来的噪声，同时通过视觉语言模型生成高质量运动描述文本，并设计有效的运动修复流程来提升数据质量。

常用场景

经典使用场景

在计算机视觉与电影制作交叉领域，PulpMotion数据集为联合生成任务提供了关键支撑。该数据集最经典的应用场景在于文本驱动的多模态生成研究，通过提供高质量的人类运动序列与对应摄像机轨迹的配对数据，使研究者能够探索演员表演与镜头运动之间的内在关联。其丰富的标注信息为构建端到端的生成模型奠定了坚实基础，特别适用于需要保持屏幕空间构图一致性的复杂场景。

衍生相关工作

基于PulpMotion数据集已衍生出多个具有影响力的研究方向。辅助采样技术的提出通过线性变换在潜在空间中建立模态关联，为多模态生成提供了模型无关的通用框架。在架构设计方面，研究者分别探索了DiT与MAR两种主流生成模型在该任务上的适应性，证明了方法的普适性。后续工作进一步扩展了屏幕空间构图的控制粒度，实现了对身体特定部位的精准构图，推动了动态镜头语言生成技术的持续演进。

数据集最近研究

最新研究方向

在电影摄影与计算机视觉交叉领域，PulpMotion数据集推动了人机协同运动生成的前沿研究。当前热点聚焦于文本驱动的多模态联合生成框架，通过引入屏幕空间人物构图作为辅助模态，构建了人体运动与摄像机轨迹的潜在关联桥梁。该方向突破了传统单模态生成的局限，利用线性变换与辅助采样技术，在扩散模型架构中实现了跨模态一致性优化。这一突破性进展不仅提升了影视制作中角色表演与镜头调度的协同性，更在虚拟制作、游戏动画等领域展现出广泛应用潜力，为智能影视生成系统奠定了关键技术基础。

相关研究论文

• 通过

  LIX, École Polytechnique, CNRS, IPP, Inria Saclay, Inria, IRISA, Univ Rennes, CNRS · 2025年