SynCamVideo-Dataset
收藏SynCamVideo Dataset
1. 数据集简介
SynCamVideo Dataset 是一个使用虚幻引擎5渲染的多相机同步视频数据集。该数据集包含1,000个不同的场景，每个场景由36个相机捕捉，总共生成36,000个视频。数据集的主要特点包括：
- 50种不同的动物作为“主要对象”。
- 使用来自Poly Haven的20个不同地点作为背景。
- 每个场景中，从50种动物中选择1-2个对象，并沿着预定义的轨迹移动，背景从20个地点中随机选择，36个相机同时记录对象的运动。
每个场景中的相机放置在一个半球形表面上，距离场景中心的距离为3.5米至9米。为了确保渲染的视频与现实世界视频的领域偏移最小，相机的仰角限制在0°至45°之间，方位角限制在0°至360°之间。每个相机的位置在这些约束内随机采样，而不是在所有场景中使用相同的相机位置集。
2. 文件结构
SynCamVideo ├── train │ ├── videos # 训练视频 │ │ ├── scene1 # 一个场景 │ │ │ ├── xxx.mp4 # 同步的100帧视频，分辨率为480x720 │ │ │ └── ... │ │ │ ... │ │ └── scene1000 │ │ ├── xxx.mp4 │ │ └── ... │ ├── cameras # 训练相机 │ │ ├── scene1 # 一个场景 │ │ │ └── xxx.json # 与视频对应的相机外部参数 │ │ │ ... │ │ └── scene1000 │ │ └── xxx.json │ └──caption │ └── cogvideox_caption.csv # 使用"THUDM/cogvlm2-llama3-caption"生成的字幕 └──val └── cameras # 验证相机 ├── Hemi36_4m_0 # 距离=4m, 仰角=0° │ └── Hemi36_4m_0.json # 36个相机: 距离=4m, 仰角=0°, 方位角=i * 10° │ ... └── Hemi36_7m_45 └── Hemi36_7m_45.json
3. 有用脚本
- 相机可视化 python python vis_cam.py --pose_file_path ./SynCamVideo-Dataset/val/cameras/Hemi36_4m_0/Hemi36_4m_0.json --num_cameras 36
引用
bibtex @misc{bai2024syncammaster, title={SynCamMaster: Synchronizing Multi-Camera Video Generation from Diverse Viewpoints}, author={Jianhong Bai and Menghan Xia and Xintao Wang and Ziyang Yuan and Xiao Fu and Zuozhu Liu and Haoji Hu and Pengfei Wan and Di Zhang}, year={2024}, eprint={2412.07760}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2412.07760}, }
联系
