X-Fun-Videos-Lingbot-Demo

# X-Fun-Videos-Lingbot-Demo ## 目录 - [数据集简介](#数据集简介) - [数据集结构](#数据集结构) - [数据说明](#数据说明) - [使用方法](#使用方法) - [注意事项](#注意事项) - [相关项目](#相关项目) ## 数据集简介 这是一个用于 **VideoX-Fun** 项目的 **LingBot-World 相机可控图生视频（Camera-Controllable I2V）** 训练演示数据集，包含7个训练视频及其对应的逐帧相机轨迹（`poses.npy` + `intrinsics.npy`），适用于 LingBot-World 相机位姿可控视频生成模型的训练和测试。 ## 数据集结构 ``` X-Fun-Videos-Lingbot-Demo/ ├── videos/ # 训练视频目录 │ ├── lingbot_demo.mp4 # 训练视频 (832x480, 81帧, 16fps) │ ├── example_00.mp4 │ └── ... (共7个视频) ├── actions/ # 相机轨迹目录（与视频同名） │ ├── lingbot_demo/ │ │ ├── poses.npy # 相机→世界位姿矩阵 [F, 4, 4], float32 │ │ └── intrinsics.npy # 相机内参 (fx, fy, cx, cy) [F, 4], float32 │ ├── example_00/ │ └── ... (共7个文件夹) ├── metadata_add_width_height.json # 数据集信息（含相机控制字段） ├── .gitattributes # Git LFS 配置文件 └── README.md # 本文件 ``` ## 数据说明 ### 视频信息 - **数量**: 7个训练视频 + 7条配套相机轨迹 - **格式**: MP4 - **分辨率**: 832 x 480 (宽 x 高) - **帧数 / 帧率**: 81帧, 16fps - **内容**: 第一人称漫游 / 环绕运镜短视频（奇幻丛林飞行、巨石阵环拍、城市街景漫游等），标签为英文提示词 ### 相机轨迹文件 每个视频在 `actions/<视频同名目录>/` 下配有两个 NumPy 数组，格式与推理脚本 `examples/lingbot_world/predict_i2v.py` 完全一致： - `poses.npy`: `float32`，形状 `[F, 4, 4]`。逐帧相机→世界矩阵，采用 **OpenCV 坐标系**（x 右、y 下、z 前），`poses[i]` 对应视频第 `i` 帧。 - `intrinsics.npy`: `float32`，形状 `[F, 4]`。每行 `(fx, fy, cx, cy)`，单位为像素，标定分辨率为 832 x 480（见 `metadata_add_width_height.json` 中的 `intrinsics_org_width` / `intrinsics_org_height` 字段）。 ### 样本列表 | 名称 | 轨迹帧数 | 内容简述 | |------|---------|---------| | `lingbot_demo` | 961 | 按相机轨迹从参考图起始运镜 | | `example_00` | 961 | 奇幻丛林中的飞行之旅，逐渐逼近哥特式古堡 | | `example_01` | 561 | 薄雾天气下环绕巨石阵的慢速全景运镜 | | `example_02` | 957 | 游戏引擎渲染的超写实城市第一人称漫游 | | `example_03` | 269 | 按相机轨迹从参考图起始运镜 | | `example_04` | 533 | 按相机轨迹从参考图起始运镜 | | `example_05` | 961 | 奇幻丛林中的飞行之旅，逐渐逼近哥特式古堡 | ### 元数据文件 #### metadata_add_width_height.json 在标准 Wan2.2 字段的基础上，新增了 LingBot-World 相机控制所需字段： - `file_path`: 视频文件路径 - `action_path`: 相机轨迹目录（存放 `poses.npy` 与 `intrinsics.npy`） - `text`: 视频标签描述（英文提示词） - `type`: 数据类型（video） - `width` / `height`: 视频宽高（832 / 480，用于分桶训练） - `intrinsics_org_width` / `intrinsics_org_height`: `intrinsics.npy` 的标定分辨率（832 / 480），训练时内参会按当前 bucket 尺寸自动缩放，**带相机控制的样本必填** ## 使用方法 克隆数据集到VideoX-Fun的datasets文件夹。 ```bash modelscope download --dataset PAI/X-Fun-Videos-Lingbot-Demo --local_dir ./datasets/X-Fun-Videos-Lingbot-Demo ``` 在 VideoX-Fun 的配置文件中指定数据集路径： ```bash export DATASET_NAME="datasets/X-Fun-Videos-Lingbot-Demo" export DATASET_META_NAME="datasets/X-Fun-Videos-Lingbot-Demo/metadata_add_width_height.json" NCCL_DEBUG=INFO ``` 随后按 [scripts/lingbotworld/README_TRAIN_zh-CN.md](https://github.com/aigc-apps/VideoX-Fun/tree/main/scripts/lingbotworld) 启动训练（需开启 `--enable_camera_control`）： ```bash bash scripts/lingbotworld/train.sh ``` ## 注意事项 - 本数据集仅用于演示和测试目的（视频由 LingBot-World 基础模型按官方演示轨迹合成，适合训练流程冒烟测试） - 训练需开启 `--enable_camera_control`，此时数据集类切换为 `LingbotImageVideoDataset`，会按与 RGB 相同的帧索引切片 `poses.npy`，保证相机轨迹与所采片段对齐 - `poses.npy` 帧数不小于 `--video_sample_n_frames`（默认81），满足训练采样要求 - 缺失 `action_path` 的样本会退化为普通 Wan2.2 forward；带轨迹但缺失 `intrinsics_org_height/width` 的样本会在数据加载时被跳过 - 相机轨迹插值依赖 `scipy`（`Slerp` / `interp1d`），请确保已安装 ## 相关项目 - [VideoX-Fun](https://github.com/aigc-apps/VideoX-Fun) - [LingBot-World 训练文档](https://github.com/aigc-apps/VideoX-Fun/tree/main/scripts/lingbotworld)