REALCAM Dataset

REALCAM Dataset是一个新的动态视频数据集，包含精确的相机参数标注。该数据集通过从实际世界视频中选择并使用VGGSfM算法估计相机参数来构建，旨在解决现有数据集静态场景过多导致动态内容生成能力退化的问题。数据集涵盖了室内环境、空中视角和街道场景等多种情景，并通过特定的处理流程保证了场景的多样性和相机运动的真实性。

The REALCAM Dataset is a novel dynamic video dataset equipped with precise camera parameter annotations. It is constructed by selecting clips from real-world videos and estimating camera parameters using the VGGSfM algorithm, aiming to address the issue of degraded dynamic content generation capability caused by the overabundance of static scenes in existing datasets. The dataset covers various scenarios including indoor environments, aerial perspectives and street scenes, and ensures scene diversity and the authenticity of camera motions through a dedicated processing pipeline.

搜集汇总

数据集介绍

构建方式

REALCAM数据集的构建采用了从真实动态视频中提取相机轨迹注释的方法，结合了Structure-from-Motion（SfM）技术，特别是VGGSfM工具。首先，通过运动分割模型TMO识别视频中的动态前景对象，并使用RAFT估计视频的光流。通过平均静态背景区域的光流，量化相机运动，确保视频具有足够的相机移动。随后，使用VGGSfM估计每帧的相机参数。为了应对单目视频重建中的尺度不一致问题，开发了校准管道，将任意场景尺度对齐到度量空间。此外，通过分析相机轨迹分布并平衡不同类型的相机运动，确保数据集的多样性和均衡性。

使用方法

REALCAM数据集主要用于训练相机控制的视频扩散模型，特别是CAMERACTRL II框架。通过将相机参数注入到扩散模型的初始层，模型能够在生成动态视频的同时精确控制相机视角。数据集的使用方法包括联合训练策略，即同时使用带有相机注释的数据和未标注的视频数据，以保持模型生成多样化内容的能力。此外，数据集支持多片段视频生成，用户可以通过迭代指定相机轨迹来生成连贯的视频序列，从而实现大范围的场景探索。

背景与挑战

背景概述

REALCAM数据集由字节跳动Seed团队与香港中文大学、斯坦福大学等机构的研究人员于2025年创建，旨在解决动态场景生成中的相机控制问题。该数据集通过从真实动态视频中提取相机轨迹注释，结合Structure-from-Motion（SfM）技术，构建了一个包含高动态内容的视频数据集。REALCAM的推出为相机控制的视频扩散模型提供了关键的数据支持，推动了动态场景生成领域的发展。其核心研究问题在于如何在生成视频时保持动态内容的丰富性，同时实现精确的相机控制。该数据集对视频生成、虚拟现实和增强现实等领域产生了深远影响，为复杂场景的生成与探索提供了新的可能性。

当前挑战

REALCAM数据集在构建与应用中面临多重挑战。首先，动态视频的相机轨迹注释提取具有较高的技术难度，尤其是在保持场景一致性和动态内容丰富性的同时，确保相机轨迹的精确性。其次，数据集中相机轨迹的分布存在长尾问题，某些类型的相机运动（如向前运动）过度集中，导致模型容易过拟合常见轨迹类型，而对罕见轨迹类型的生成效果较差。此外，数据集的构建需要解决场景尺度的不一致性问题，以确保模型能够学习到一致的相机运动模式。在应用层面，如何在生成视频时平衡相机控制与动态内容的生成，避免因相机控制过度约束而导致视频动态性下降，是另一个关键挑战。

常用场景

经典使用场景

REALCAM数据集在动态场景生成与相机控制领域具有广泛的应用。其最经典的使用场景是通过用户定义的相机轨迹生成连贯的视频序列。具体而言，用户可以通过输入初始图像和相机轨迹，生成动态场景的视频片段，随后根据生成的视频片段进一步指定新的相机轨迹，从而实现对场景的多角度探索。这种迭代生成的方式使得用户能够在虚拟环境中自由导航，例如绕过行人或改变视角，同时保持场景的一致性和动态效果。

解决学术问题

REALCAM数据集解决了动态场景生成中相机控制与视频动态性之间的平衡问题。传统方法在引入相机控制后，往往导致视频动态性显著下降，且生成的视频片段长度受限。REALCAM通过构建包含大量动态视频和精确相机参数标注的数据集，结合轻量级相机注入模块和训练策略，显著提升了模型在生成动态内容时的表现。此外，该数据集还支持多片段自回归生成，使得模型能够根据用户输入的相机轨迹生成连贯的长视频序列，从而扩展了场景探索的空间范围。

实际应用

REALCAM数据集的实际应用场景包括虚拟现实、游戏开发、影视制作等领域。在虚拟现实中，用户可以通过相机轨迹控制生成动态场景，实现沉浸式体验；在游戏开发中，开发者可以利用该数据集生成逼真的游戏场景，增强玩家的交互体验；在影视制作中，导演可以通过相机轨迹控制生成复杂的动态镜头，减少实际拍摄的成本和时间。此外，该数据集还可用于自动驾驶模拟，生成多样化的驾驶场景以测试自动驾驶系统的性能。

数据集最近研究

最新研究方向

近年来，随着视频扩散模型的快速发展，动态场景的生成与探索成为了计算机视觉领域的热点研究方向。REALCAM数据集的提出，为基于相机控制的视频生成模型提供了重要的数据支持。该数据集通过从真实动态视频中提取相机轨迹注释，解决了现有静态数据集在生成动态内容时的局限性。CAMERACTRL II框架的引入，进一步推动了这一领域的前沿研究。该框架通过轻量级的相机参数注入模块和联合训练策略，能够在保持视频动态生成能力的同时，实现精确的相机控制。此外，CAMERACTRL II还支持基于用户输入的相机轨迹进行多段视频的连贯生成，极大地扩展了场景探索的范围。这一技术不仅在虚拟旅游、游戏生成等领域具有广泛的应用前景，还为动态场景的3D重建提供了新的可能性。

相关研究论文

• CameraCtrl II: Dynamic Scene Exploration via Camera-controlled Video Diffusion Models

  香港中文大学, 抖音字节跳动, 斯坦福大学, 抖音 · 2025年