MultiCamVideo
收藏MultiCamVideo 数据集概述
数据集简介
MultiCamVideo 数据集是一个使用 Unreal Engine 5 渲染的多摄像头同步视频数据集。它包含同步的多摄像头视频及其对应的相机轨迹。该数据集可用于相机控制视频生成、同步视频制作和 3D/4D 重建等领域。
数据集构成
数据集由动态场景构成，每个动态场景包含四个元素：{3D 环境、角色、动画、相机}。通过动画驱动角色，并将动画角色置于 3D 环境中，然后设置时间同步的相机沿预定轨迹移动以渲染多摄像头视频数据。
构成要素详情
- 3D 环境：从 Fab 收集了 37 个高质量的 3D 环境资产。主要为视觉逼真的 3D 场景，辅以少量风格化或超现实的 3D 场景。场景涵盖多种室内外环境，如城市街道、购物中心、咖啡馆、办公室和乡村。
- 角色：从 Fab 和 Mixamo 收集了 66 个不同的人体 3D 模型作为角色。
- 动画：从 Fab 和 Mixamo 收集了 93 种不同的动画，包括挥手、跳舞和欢呼等常见动作。
- 相机：通过设计规则批量生成随机的相机起始位置和运动轨迹，以确保相机运动多样且接近真实世界分布。
相机轨迹生成规则
- 相机起始位置：以角色位置为球心，根据 3D 场景大小设定半径为 {3m, 5m, 7m, 10m} 的半球体，在此范围内随机采样作为相机起点。确保与角色的最近距离大于 0.5m，俯仰角在 45 度以内。
- 相机轨迹：
- 平移与倾斜：相机旋转角度在范围内随机选择，平移角范围 5 至 45 度，倾斜角范围 5 至 30 度，方向随机选择左/右或上/下。
- 基本平移：相机沿 xyz 轴正负方向平移，移动距离在 ([frac{1}{4}, 1] imes) 与角色距离的范围内随机选择。
- 基本弧线轨迹：相机沿弧线移动，旋转角度在 15 至 75 度范围内随机选择。
- 随机轨迹：在空间中采样 1-3 个点，相机从初始位置经过这些点作为运动轨迹，总移动距离在 ([frac{1}{4}, 1] imes) 与角色距离的范围内随机选择。对折线进行平滑处理以使运动更自然。
- 静态相机：拍摄期间相机不平移或旋转，保持固定位置。
- 相机移动速度：50% 的训练数据使用匀速相机轨迹，另外 50% 使用非线性函数生成的变速轨迹。轨迹速度由可调参数 (a) 控制。
- 相机参数：选择了四组相机参数：{焦距=18mm，光圈=10}、{焦距=24mm，光圈=5}、{焦距=35mm，光圈=2.4} 和 {焦距=50mm，光圈=2.4}。
统计数据与配置
数据集统计
| 动态场景数量 | 每场景相机数 | 视频总数 |
|---|---|---|
| 13,600 | 10 | 136,000 |
视频配置
| 分辨率 | 帧数 | 帧率 (FPS) |
|---|---|---|
| 1280x1280 | 81 | 15 |
注：可使用“中心裁剪”调整视频宽高比以适应视频生成模型，如 16:9、9:16、4:3 或 3:4。
相机配置
| 焦距 | 光圈 | 传感器高度 | 传感器宽度 |
|---|---|---|---|
| 18mm, 24mm, 35mm, 50mm | 10.0, 5.0, 2.4 | 23.76mm | 23.76mm |
文件结构
MultiCamVideo-Dataset ├── train │ ├── f18_aperture10 │ │ ├── scene1 │ │ │ ├── videos │ │ │ │ ├── cam01.mp4 │ │ │ │ ├── cam02.mp4 │ │ │ │ ├── ... │ │ │ │ └── cam10.mp4 │ │ │ └── cameras │ │ │ └── camera_extrinsics.json │ │ ├── ... │ │ └── scene3400 │ ├── f24_aperture5 │ │ ├── scene1 │ │ ├── ... │ │ └── scene3400 │ ├── f35_aperture2.4 │ │ ├── scene1 │ │ ├── ... │ │ └── scene3400 │ └── f50_aperture2.4 │ ├── scene1 │ ├── ... │ └── scene3400 └── val └── 10basic_trajectories ├── videos │ ├── cam01.mp4 │ ├── cam02.mp4 │ ├── ... │ └── cam10.mp4 └── cameras └── camera_extrinsics.json
实用脚本
-
数据提取 bash sudo apt-get install git-lfs git lfs install git clone https://huggingface.co/datasets/KwaiVGI/MultiCamVideo-Dataset cat MultiCamVideo-Dataset.part* > MultiCamVideo-Dataset.tar.gz tar --zstd -xvf CamCloneDataset.tar.gz
-
相机可视化 python python vis_cam.py
可视化脚本修改自 CameraCtrl。
引用
如果使用本数据集，请引用相关论文。 bibtex @misc{bai2025recammaster, title={ReCamMaster: Camera-Controlled Generative Rendering from A Single Video}, author={Jianhong Bai and Menghan Xia and Xiao Fu and Xintao Wang and Lianrui Mu and Jinwen Cao and Zuozhu Liu and Haoji Hu and Xiang Bai and Pengfei Wan and Di Zhang}, year={2025}, eprint={2503.11647}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2503.11647}, }
许可协议
Apache 2.0
