VACE-Benchmark

VACE是一个集视频创作和编辑于一体的全功能模型，支持参考到视频生成、视频到视频编辑以及遮罩视频到视频编辑等多种任务。用户可以根据需要自由组合这些任务，实现多样化的视频创作和编辑需求。

VACE is a full-featured model integrating video creation and editing, supporting multiple tasks including reference-guided video generation, video-to-video editing, and mask-guided video-to-video editing. Users can freely combine these tasks according to their needs to meet diverse video creation and editing requirements.

搜集汇总

数据集介绍

构建方式

VACE-Benchmark数据集的构建依托于多模态视频生成与编辑的前沿技术，采用模块化设计理念整合了参考视频生成（R2V）、视频间编辑（V2V）以及掩码视频编辑（MV2V）三大核心任务。研究团队通过开源框架实现了自动化数据流水线，结合人工校验确保样本质量，视频素材涵盖81x480至97x768等多种分辨率，并严格遵循Apache-2.0和RAIL-M双协议进行数据治理。

特点

该数据集显著特征在于其全栈式视频处理能力，支持Move-Anything、Swap-Anything等六类创造性任务。数据集内嵌深度估计、目标检测等预处理工具链，提供Wan2.1与LTX-Video双模型支持，输入维度兼容任意分辨率视频。特别设计的任务组合机制允许自由编排工作流，其多粒度标注体系为视频语义理解研究提供了丰富监督信号。

使用方法

使用者需配置Python3.10与CUDA12.4环境，通过clone代码库安装依赖项。典型流程包含三阶段：预处理阶段调用vace_preprocess.py生成视频掩码与参考帧；推理阶段可选择单卡或多卡模式运行vace_wan_inference.py；评估阶段利用Gradio可视化界面进行交互式调试。数据集提供标准化的benchmarks目录结构，支持端到端管道式调用或分步执行，用户指南详细说明了bbox坐标输入、提示词扩展等关键参数配置方法。

背景与挑战

背景概述

VACE-Benchmark数据集由Tongyi Lab的研究团队于2025年推出，旨在为视频生成与编辑领域提供全面的评估基准。该数据集作为VACE模型的核心配套资源，支持参考视频生成（R2V）、视频间编辑（V2V）及掩码视频编辑（MV2V）等多任务场景。研究团队通过整合Wan2.1和LTX-Video等先进模型架构，解决了传统视频处理工具在跨模态协同、动态内容保持等方面的技术瓶颈，为影视制作、数字广告等产业提供了高效的自动化解决方案。

当前挑战

该数据集面临的领域挑战主要集中在跨模态内容一致性保持、长时序视频动态连贯性建模等核心问题。构建过程中需克服多源数据对齐、复杂场景标注等工程难题，例如运动物体边界精确分割、多帧语义连续性标注等。此外，不同分辨率视频的标准化处理与评估指标设计，亦对数据集的泛化能力提出较高要求。

常用场景

经典使用场景

在视频生成与编辑领域，VACE-Benchmark数据集为研究者提供了一个全面的评估平台，涵盖了从参考视频生成（R2V）到视频到视频编辑（V2V）以及掩码视频到视频编辑（MV2V）等多种任务。该数据集通过整合多种视频编辑功能，如移动任意物体、交换任意内容、参考任意图像、扩展任意场景以及动画化任意元素等，为算法开发与性能评估提供了丰富的测试用例。

实际应用

在实际应用中，VACE-Benchmark数据集为影视后期制作、广告创意生成以及社交媒体内容创作提供了技术支持。基于该数据集训练的模型能够实现高效的视频编辑，例如动态物体移除、场景扩展和风格迁移，显著降低了专业视频制作的门槛，同时提升了内容创作的灵活性和效率。

衍生相关工作

围绕VACE-Benchmark数据集，衍生了一系列经典研究工作，包括基于Wan2.1和LTX-Video架构的视频生成模型优化、多任务学习框架的设计以及跨模态对齐算法的改进。这些工作不仅扩展了数据集的应用范围，还为视频生成与编辑领域的技术发展提供了重要参考。