DAVIS-Edit
收藏资源简介:
DAVIS-Edit是一个用于视频编辑的测试基准数据集,特别用于评估视频编辑中形状一致性的稳定性。该数据集包含多种用户提示的不同模态,展示了StableV2V在处理广泛下游应用中的灵活性。
DAVIS-Edit is a test benchmark dataset for video editing, specifically designed to evaluate the stability of shape consistency in video editing tasks. This dataset includes diverse modalities of various user prompts, demonstrating the flexibility of StableV2V when handling a wide range of downstream applications.
StableV2V: Stablizing Shape Consistency in Video-to-Video Editing
概述
StableV2V 是一种新颖的视频编辑范式,旨在以形状一致的方式进行视频编辑,特别是在用户提示导致编辑内容形状发生显著变化的情况下。此外,StableV2V 展示了在处理不同模态用户提示的一系列下游应用中的优越灵活性。
数据集
- DAVIS-Edit: 这是一个经过策划的测试基准,用于评估视频编辑任务。该数据集已上传到多个平台,包括 HuggingFace、wisemodel 和 ModelScope。
模型
- StableV2V: 该模型用于视频编辑任务,支持多种编辑方式,包括基于草图的编辑和视频修复。
代码结构
StableV2V ├── LICENSE ├── README.md ├── assets ├── datasets ├── models ├── runners ├── inference.py ├── train_completion_net.py └── utils
依赖项
- Python 3.10: 使用
conda创建虚拟环境并安装依赖项。 - 预训练模型权重: 需要下载并放置在
checkpoints文件夹中。
推理命令
bash python inference.py --raft-checkpoint-path checkpoints/raft-things.pth --midas-checkpoint-path checkpoints/dpt_swin2_large_384.pt --u2net-checkpoint-path checkpoints/u2net.pth --stable-diffusion-checkpoint-path stable-diffusion-v1-5/stable-diffusion-v1-5 --controlnet-checkpoint-path lllyasviel/control_v11f1p_sd15_depth --i2vgenxl-checkpoint-path ali-vilab/i2vgen-xl --ctrl-adapter-checkpoint-path hanlincs/Ctrl-Adapter --completion-net-checkpoint-path checkpoints/depth-refinement/50000.ckpt --image-editor-type paint-by-example --image-editor-checkpoint-path /path/to/image/editor --source-video-frames examples/frames/bear --external-guidance examples/reference-images/raccoon.jpg --prompt "a raccoon" --outdir results
Gradio 演示
提供了一个 Gradio 演示,通过交互式 UI 尝试 StableV2V。
引用
如果使用此工作,请引用相关论文。
结果
展示了 StableV2V 在视频编辑任务中的结果。




