ReCo-Data
收藏ReCo 数据集概述
数据集简介
ReCo 是一个用于指令视频编辑的大规模、高质量数据集。其全称为“Region-Constraint In-Context Generation for Instructional Video Editing”。
数据集构成
训练数据集：ReCo-Data
- 规模：包含超过 50 万条指令-视频对。
- 任务类型：涵盖四种视频编辑任务。
- 对象添加
- 对象移除
- 对象替换
- 视频风格化
评估基准：ReCo-Bench
- 规模：包含 480 个视频-指令对。
- 任务分布：四种任务各 120 对。
- 源视频来源：全部收集自 Pexels 视频平台。
- 指令生成：对于局部编辑任务，使用 Gemini-2.5-Flash-Thinking 根据视频内容自动生成多样化的编辑指令。对于风格化任务，随机选择 10 个源视频，并为每个视频应用 12 种不同的风格。
数据获取与结构
下载方式
- ReCo-Data：可通过运行
bash ./tools/download_dataset.sh下载至./ReCo-Data目录。 - ReCo-Bench：可通过运行
bash ./tools/download_ReCo-Bench.sh下载至./ReCo-Bench目录。 - 数据预览：可浏览 https://huggingface.co/datasets/HiDream-ai/ReCo-Data/blob/main/examples.tar 查看可视化示例。
目录结构
ReCo-Data/ ├── add/ # 对象添加任务数据 │ ├── add_data_configs.json │ ├── src_videos/ # 原始源视频 │ └── tar_videos/ # 编辑后的目标视频 ├── remove/ # 对象移除任务数据 │ ├── remove_data_configs.json │ ├── src_videos/ │ └── tar_videos/ ├── replace/ # 对象替换任务数据 │ ├── replace_data_configs.json │ ├── src_videos/ │ └── tar_videos/ └── style/ # 视频风格化任务数据 ├── style_data_configs.json ├── src_videos/ └── tar_videos/
*_data_configs.json文件存储了指令-视频的映射关系和元数据。
使用与评估
数据测试与可视化
- 单任务测试：使用
reco_data_test_single.py脚本。 - 混合任务加载：使用
reco_data_test_mix_data.py脚本，可按任意比例混合四种任务的数据。
评估流程
评估通过运行 bash run_eval_via_gemini.sh 启动，分为两个阶段：
- 逐维度评估：使用 Gemini-2.5-Flash-Thinking 作为 VLLM 评估器，从多个维度对编辑后的视频进行评分。
- 最终分数聚合：汇总评估结果，计算每个任务及整体的最终得分。
相关资源与引用
- 论文地址：https://arxiv.org/abs/2512.17650
- 项目主页：https://zhw-zhang.github.io/ReCo-page/
- Hugging Face 数据仓库：https://huggingface.co/datasets/HiDream-ai/ReCo-Data 与 https://huggingface.co/datasets/HiDream-ai/ReCo-Bench
- 模型权重与代码：计划在 2-3 周内开源。
引用格式
bibtex @article{reco, title={{Region-Constraint In-Context Generation for Instructional Video Editing}}, author={Zhongwei Zhang and Fuchen Long and Wei Li and Zhaofan Qiu and Wu Liu and Ting Yao and Tao Mei}, journal={arXiv preprint arXiv:2512.17650}, year={2025} }
