Synthetic Dataset for Free-Form Motion Control (SynFMC)

SynFMC数据集由复旦大学、阿里巴巴达摩院和南洋理工大学联合创建，旨在为视频生成中的动态物体和相机运动控制提供高质量数据支持。该数据集包含26,000个视频，涵盖了多种物体类别和环境场景，提供了6D姿态信息、实例分割掩码、深度图等详细注释。数据集的生成过程基于规则驱动的策略，模拟了真实世界中的复杂运动模式。SynFMC数据集的应用领域包括视频生成、计算机视觉和电影制作，旨在解决现有算法在同时控制相机和物体运动方面的局限性。The SynFMC dataset was jointly developed by Fudan University, Alibaba DAMO Academy, and Nanyang Technological University, with the goal of providing high-quality data support for dynamic object and camera motion control in video generation. This dataset contains 26,000 videos covering diverse object categories and environmental scenarios, and provides detailed annotations including 6D pose information, instance segmentation masks, depth maps, etc. The dataset generation process adopts a rule-driven strategy to simulate complex real-world motion patterns. The SynFMC dataset has applications in video generation, computer vision, and filmmaking, and aims to address the limitations of existing algorithms in simultaneously controlling both camera and object motions.

搜集汇总

数据集介绍

构建方式

SynFMC数据集的构建过程采用了基于规则的三维动画生成策略。首先，从PolyHaven等平台收集高动态范围成像（HDRI）环境地图和3D对象资产，确保背景和对象的多样性。接着，通过Bézier曲线设计对象的运动轨迹，并基于对象的属性（如速度、大小）生成合理的运动路径。对于相机运动，数据集将其分解为视角类型、距离类型和高度类型，通过随机选择和插值生成复杂的相机轨迹。最后，利用Unreal Engine进行渲染，生成包含6D姿态信息的合成视频。整个流程确保了数据集在对象和相机运动上的多样性和可控性。

使用方法

SynFMC数据集主要用于视频生成和运动控制研究，特别是在对象和相机运动的联合控制任务中。通过提供详细的6D姿态信息，研究人员可以训练模型以解耦对象和相机的运动效果，从而实现高保真度的视频生成。数据集支持多种个性化文本到图像（T2I）模型，用户可以通过绘制轨迹或指定运动类型来控制对象和相机的运动。此外，SynFMC还可用于评估视频生成模型在复杂运动场景下的性能，为算法改进提供数据支持。

背景与挑战

背景概述

Synthetic Dataset for Free-Form Motion Control (SynFMC) 是由复旦大学和南洋理工大学的科研团队于2025年提出的一个合成视频生成数据集，旨在解决视频生成中动态物体和相机运动的精确控制问题。该数据集通过提供丰富的6D姿态信息，支持模型学习如何从视频中解耦物体和相机的运动效果。SynFMC涵盖了多种物体和环境，并模拟了现实世界中常见且复杂的运动模式，为视频生成领域的研究提供了宝贵的资源。其核心研究问题在于如何实现对物体和相机运动的独立或同步控制，从而提升生成视频的可控性和逼真度。

当前挑战

SynFMC数据集面临的挑战主要体现在两个方面。首先，在领域问题方面，现有的视频生成算法难以同时控制相机和物体的运动，导致生成内容的可控性受限。SynFMC通过提供完整的6D姿态信息，试图解决这一难题，但如何在实际应用中实现高精度的运动解耦仍是一个复杂的技术挑战。其次，在数据集构建过程中，生成具有复杂运动模式的合成视频需要大量的计算资源和精细的设计。尽管SynFMC采用了基于规则的生成策略，但如何确保生成的运动轨迹既符合物理规律又具有多样性，仍然是一个需要克服的难题。此外，数据集的扩展性和对不同个性化文本到图像模型的兼容性也是未来研究的重要方向。

常用场景

经典使用场景

SynFMC数据集在视频生成领域中被广泛用于研究自由形式的相机和物体运动控制。其经典使用场景包括生成具有复杂运动轨迹的合成视频，模拟真实世界中的动态场景。通过提供6D姿态信息，SynFMC使得模型能够解耦相机和物体的运动效果，从而实现对视频内容的高度可控性。这一特性使得SynFMC成为研究视频生成中运动控制的理想工具。

解决学术问题

SynFMC数据集解决了视频生成领域中一个关键问题：缺乏同时控制相机和物体运动的综合数据集。现有数据集通常仅提供有限的运动注释，导致模型无法有效解耦相机和物体的运动。SynFMC通过提供完整的6D姿态信息，使得模型能够独立或同时控制相机和物体的运动，从而提升了视频生成的可控性和灵活性。这一突破为视频生成算法的研究提供了重要的数据支持。

实际应用

在实际应用中，SynFMC数据集被广泛用于电影制作、虚拟现实和游戏开发等领域。通过生成具有复杂运动轨迹的视频，SynFMC使得非专业人士也能够轻松创建高质量的视觉效果。例如，在电影制作中，导演可以利用SynFMC生成的视频来预演复杂的镜头运动，从而优化拍摄计划。此外，SynFMC还为虚拟现实和游戏开发提供了丰富的动态场景数据，增强了用户体验。

数据集最近研究

最新研究方向

近年来，自由运动控制（Free-Form Motion Control, FMC）在视频生成领域引起了广泛关注，尤其是在动态对象和相机运动的精确控制方面。SynFMC数据集的提出填补了这一领域的数据空白，提供了丰富的6D姿态注释，涵盖了多样化的对象和环境。该数据集不仅支持对象和相机运动的独立控制，还能实现两者的同步控制，为生成高保真视频提供了坚实的基础。通过引入基于规则的生成策略，SynFMC能够模拟复杂的现实场景，推动了视频生成技术在电影制作、虚拟现实等领域的应用。此外，SynFMC数据集与个性化文本到图像（T2I）模型的兼容性，进一步扩展了其在多样化内容风格生成中的潜力。

相关研究论文

• Free-Form Motion Control: A Synthetic Video Generation Dataset with Controllable Camera and Object Motions

  复旦大学、南洋理工大学 · 2025年