VOR (Video Object Removal)

VOR是由复旦大学构建的大规模视频对象移除数据集，包含6万对高质量视频，涵盖真实拍摄与3D合成两种数据来源。该数据集系统性捕捉了遮挡、阴影、光照、反射和变形五类对象诱导效应，覆盖366种对象类别和443个动态场景，总时长超145小时。通过多摄像机固定拍摄结合肯·伯恩斯特效模拟相机运动，以及Blender引擎构建的150余个3D场景，数据集实现了物理真实性与多样性的平衡。其核心应用是支持视频对象效应消除算法的训练与评估，解决现有方法对复杂视觉效应处理不足的难题。

VOR is a large-scale video object removal dataset developed by Fudan University, which consists of 60,000 high-quality video pairs with two data sources: real-captured footage and 3D synthetic content. This dataset systematically captures five types of object-induced effects, namely occlusion, shadow, illumination, reflection and deformation, covering 366 object categories and 443 dynamic scenarios, with a total duration exceeding 145 hours. By adopting fixed multi-camera shooting combined with the Ken Burns effect to simulate camera motion, as well as over 150 3D scenes built using the Blender engine, the dataset achieves a balance between physical realism and data diversity. Its core application lies in supporting the training and evaluation of video object effect removal algorithms, addressing the limitations of existing methods in processing complex visual effects.

搜集汇总

数据集介绍

构建方式

在视频对象移除领域，构建高质量数据集面临保持时空一致性的挑战。VOR数据集采用混合构建策略，融合了真实捕捉与合成渲染两种数据源。其实世界数据通过固定相机在293个多样化场景中录制配对视频，确保目标对象存在与缺失时背景完全一致，并应用肯·伯恩斯效应模拟自然相机运动以增强动态多样性。合成数据则基于150多个三维场景，通过图形引擎渲染生成，精心设计了物体与相机的自然轨迹以模拟真实交互。所有视频均使用SAM2进行对象分割并经过人工清洗与精修，最终形成包含目标对象视频、无对象背景视频及对应掩码的三元组数据，总计提供6万对高质量视频对。

特点

VOR数据集的核心特征在于其系统性地涵盖了目标对象引发的多种视觉副作用。数据集明确归纳了遮挡、阴影、光照、反射和变形五大类代表性效应，并在各类中进一步细分以应对不同恢复挑战。其规模与多样性显著超越现有资源，包含超过145小时的视频内容，覆盖366种对象类别与443个不同场景，同时兼具动态相机、动态对象与动态背景的丰富变化。尤为重要的是，VOR通过混合真实与合成数据，在保证物理真实感的同时，极大地扩展了数据分布的广度，为模型学习复杂时空关联与效应感知提供了坚实基础。

使用方法

VOR数据集主要服务于视频对象移除模型的训练与评估。研究者可利用其提供的三元组数据——即包含目标对象及其效应的视频、对应的纯净背景视频以及对象掩码序列——进行监督学习。在训练阶段，模型通过学习从‘对象存在’到‘对象缺失’的映射，旨在同时移除目标主体及其引发的各类视觉副作用。数据集进一步配套了VOR-Eval与VOR-Wild两个基准测试集：前者提供带真实标注的配对视频用于定量评估；后者则包含大量无标注的真实世界视频，适用于定性分析与用户研究。这种结构支持对模型在可控环境与开放场景下的泛化能力进行全面评测。

背景与挑战

背景概述

视频对象移除作为计算机视觉领域的关键技术，旨在从动态视频中精准消除指定目标及其引发的视觉副作用，如阴影、反射和变形等，以生成无缝的背景修复。该技术广泛应用于影视后期制作与视频编辑，对生成模型的时空一致性提出了极高要求。VOR数据集由复旦大学大数据学院的研究团队于2026年构建，其核心研究问题在于解决现有方法在复杂真实场景中难以同步移除目标对象及其视觉副作用的局限性。通过融合实拍视频与三维合成数据，VOR提供了包含六万对高质量视频的大规模数据集，覆盖五种典型视觉副作用类型，显著推动了效果感知视频对象移除领域的研究进展。

当前挑战

视频对象移除领域面临双重挑战：在领域问题层面，现有方法往往过度依赖输入掩码，难以建模目标对象与其视觉副作用之间的时空关联，导致阴影、反射等副作用残留，影响修复的真实性与一致性。在数据集构建层面，创建大规模视频配对数据极具难度，需确保配对视频在空间背景一致性与时间运动连贯性上严格对齐，同时涵盖多样化的动态对象、复杂场景与自然光照变化。VOR数据集通过精心设计的实拍流程与三维合成策略，系统性地解决了数据对齐与副作用标注的难题，为模型训练提供了可靠的基础。

常用场景

经典使用场景

在视频编辑与计算机视觉领域，VOR数据集为效果感知的视频对象移除任务提供了关键支撑。该数据集通过提供包含目标对象及其视觉效果的视频与对应无对象背景视频的配对样本，使得模型能够系统学习如何识别并消除由动态对象引发的遮挡、阴影、光照、反射及形变等多种副作用。其经典使用场景集中于训练和评估先进的视频修复与对象移除算法，特别是在需要高保真背景恢复与时间一致性的复杂动态场景中，为生成模型提供了丰富的时空关联监督信号。

解决学术问题

VOR数据集有效解决了视频对象移除研究中长期存在的学术难题。传统方法往往依赖输入掩码进行引导，难以建模对象与其引发的视觉副作用之间的时空关联，导致移除后残留阴影、反射等伪影。该数据集通过大规模、多样化的配对视频，覆盖了真实捕捉与合成渲染的多类场景与动态对象，为模型提供了学习副作用区域定位与消除所需的监督数据。其意义在于推动了效果感知移除范式的发展，使研究能够从单纯的对象擦除转向对对象-环境交互效应的系统性建模，提升了算法在真实复杂场景中的鲁棒性与视觉质量。

衍生相关工作

VOR数据集的发布催生了一系列围绕效果感知视频编辑的经典研究工作。以该数据集为基础的EffectErase框架创新性地提出了移除-插入联合学习范式，通过任务感知区域引导与效果一致性损失，实现了对副作用区域的精准建模。此外，该数据集也促进了如ROSE、MinMax-Remover等现有视频对象移除方法的改进与评估，推动了基于扩散模型的视频修复技术向更精细的副作用处理方向发展。这些衍生工作共同构建了一个更完整的视频对象编辑生态系统，为后续多模态交互与更智能的视频合成研究奠定了数据与方法论基础。