FiVE-Bench

FiVE-Bench数据集提供了一个丰富、结构化的细粒度视频编辑基准。该数据集包括420个高质量的源-目标提示对，涵盖六个细粒度视频编辑任务：1. 对象替换（刚性）；2. 对象替换（非刚性）；3. 颜色变更；4. 材质修改；5. 对象添加；6. 对象移除。

The FiVE-Bench dataset provides a rich, structured fine-grained video editing benchmark. This dataset includes 420 high-quality source-target prompt pairs, covering six fine-grained video editing tasks: 1. Object Replacement (Rigid); 2. Object Replacement (Non-rigid); 3. Color Modification; 4. Material Modification; 5. Object Addition; 6. Object Removal.

原始信息汇总

FiVE-Bench 数据集概述

数据集基本信息

• 名称: FiVE-Bench (Fine-Grained Video Editing Benchmark)
• 论文: FiVE-Bench: A Fine-Grained Video Editing Benchmark for Evaluating Emerging Diffusion and Rectified Flow Models
• 发布年份: 2025 (ICCV)
• 作者:
  • Minghan Li^1*, Chenxi Xie^2*, Yichen Wu¹³, Lei Zhang², Mengyu Wang^1†
  • ¹哈佛大学 ²香港理工大学 ³香港城市大学
• 数据来源: Hugging Face

数据集内容

• 规模: 420组高质量源-目标提示对
• 任务类型: 6种细粒度视频编辑任务
  1. 物体替换（刚性）
  2. 物体替换（非刚性）
  3. 颜色改变
  4. 材质修改
  5. 物体添加
  6. 物体移除

数据集结构

json 📁 /path/to/code/FiVE_Bench/data ├── 📁 assets/ ├── 📁 edit_prompt/ │ ├── 📄 edit1_FiVE.json │ ├── 📄 edit2_FiVE.json │ ├── 📄 edit3_FiVE.json │ ├── 📄 edit4_FiVE.json │ ├── 📄 edit5_FiVE.json │ └── 📄 edit6_FiVE.json ├── 📄 README.md ├── 📦 bmasks.zip ├── 📁 bmasks │ ├── 📁 0001_bus │ ├── 🖼️ 00001.jpg │ ├── 🖼️ 00002.jpg │ ├── 🖼️ ... │ ├── 📁 ... ├── 📦 images.zip ├── 📁 images │ ├── 📁 0001_bus │ ├── 🖼️ 00001.jpg │ ├── 🖼️ 00002.jpg │ ├── 🖼️ ... │ ├── 📁 ... ├── 📦 videos.zip ├── 📁 videos │ ├── 🎞️ 0001_bus.mp4 │ ├── 🎞️ 0002_girl-dog.mp4 │ ├── 🎞️ ...

评估方法

1. 传统指标（六个关键方面）

• 结构保持
• 背景保持 (PSNR, LPIPS, MSE, SSIM)
• 编辑提示-图像一致性 (CLIP相似度)
• 图像质量评估 (NIQE)
• 时间一致性 (MFS: Motion Fidelity Score)
• 运行效率

2. FiVE-Acc: 基于VLM的编辑成功指标

• YN-Acc: 是/否问题准确率
• MC-Acc: 多项选择题准确率
• U-Acc: 联合准确率
• ∩-Acc: 交集准确率
• FiVE-Acc: 上述指标的平均值

使用指南

1. 下载数据集: 从Hugging Face获取
2. 应用视频编辑方法: 使用提供的文本提示编辑视频
3. 评估编辑结果: 使用提供的评估脚本

引用

bibtex @article{li2025five, title={Five: A fine-grained video editing benchmark for evaluating emerging diffusion and rectified flow models}, author={Li, Minghan and Xie, Chenxi and Wu, Yichen and Zhang, Lei and Wang, Mengyu}, journal={arXiv preprint arXiv:2503.13684}, year={2025} }

致谢

部分代码改编自PIE-Bench

搜集汇总

数据集介绍

构建方式

FiVE-Bench数据集的构建基于精细标注的视频编辑任务，涵盖了420组高质量源-目标提示对，覆盖六种细粒度视频编辑任务。通过结构化标注流程，结合专业视频编辑人员的多轮校验，确保了数据的高质量和一致性。数据集中每个视频均配备了精确的编辑掩码和详细编辑指令，为模型评估提供了可靠的基础。

使用方法

使用FiVE-Bench需从Hugging Face平台下载完整数据集，按照指定目录结构放置于评估代码环境中。用户可通过运行提供的Pyramid-Edit或Wan-Edit示例模型快速验证系统性能，也可自行开发模型并调用标准评估脚本。评估过程支持传统指标（PSNR、LPIPS等）和FiVE-Acc语义指标的自动化计算，通过统一接口输出综合评分。数据集配套的安装指南和脚本极大简化了评估流程的实现难度。

背景与挑战

背景概述

FiVE-Bench是由哈佛大学、香港理工大学和香港城市大学的研究团队于2025年联合推出的细粒度视频编辑基准数据集，旨在评估新兴扩散模型和整流流模型在视频编辑任务中的性能。该数据集包含420组高质量的视频源-目标提示对，覆盖六类细粒度编辑任务，包括物体替换、颜色调整、材质修改等。作为计算机视觉领域的重要基准，FiVE-Bench通过结构化评估框架推动了视频生成与编辑技术的发展，为相关算法提供了标准化的性能验证平台。

当前挑战

在领域问题层面，FiVE-Bench致力于解决细粒度视频编辑中存在的多维度挑战：如何保持编辑区域与非编辑区域的结构一致性、如何准确理解并执行复杂的文本编辑指令、以及如何确保视频序列的时间连贯性。在构建过程中，研究团队面临高质量视频数据采集与标注的困难，需要精确设计六类编辑任务的评估标准，并开发基于视觉语言模型的自动化评估指标FiVE-Acc，以克服传统评价方法在细粒度编辑任务中的局限性。

常用场景

经典使用场景

FiVE-Bench作为细粒度视频编辑领域的标杆数据集，其经典使用场景集中在评估扩散模型与整流流模型在复杂编辑任务中的表现。该数据集通过六类精细化编辑任务（如物体替换、材质修改等），为研究者提供了标准化的测试环境。在模型开发阶段，研究者可利用其420组高质量视频-文本对，验证模型在保持时空一致性、编辑精准度等方面的能力，尤其适合评估新兴生成式AI模型在细粒度控制上的突破。

解决学术问题

该数据集有效解决了视频编辑领域长期存在的评估标准缺失问题。传统方法往往依赖主观质量评价，而FiVE-Bench通过结构化任务设计和多维度量化指标（如VLM驱动的FiVE-Acc），为学术研究提供了客观评估框架。其创新性地将视觉语言模型引入评估流程，攻克了编辑意图与生成结果对齐的验证难题，推动了视频编辑从粗粒度到像素级精确控制的理论发展。

实际应用

在影视后期制作领域，FiVE-Bench支持的工具链可实现高效物体替换与场景修改，大幅降低专业特效制作成本。教育领域利用其颜色与材质编辑能力，可快速生成多样化教学素材。电商场景中，基于该数据集训练的模型能实时修改商品展示视频的属性，满足个性化营销需求。其提供的时空一致性指标尤为关键，保障了短视频平台批量生产内容的专业品质。

数据集最近研究

最新研究方向

随着生成式人工智能技术的迅猛发展，视频编辑领域正经历着从传统方法向基于扩散模型和整流流（Rectified Flow）的先进技术转型。FiVE-Bench作为细粒度视频编辑领域的前沿基准数据集，为评估新兴生成模型提供了系统化的测试平台。该数据集聚焦于六类核心编辑任务，包括刚体/非刚体对象替换、色彩调整、材质修改等，通过结构化评估体系推动视频编辑技术向更高精度发展。当前研究热点集中于如何利用视觉语言模型（VLM）实现自动化编辑质量评估，以及探索扩散模型与整流流架构在时序一致性保持上的性能边界。Pyramid-Edit和Wan-Edit等创新方法的提出，标志着视频编辑技术正朝着保持结构完整性与提升编辑精准度的双重目标迈进。该基准的建立不仅为学术界提供了标准化比较框架，其提出的FiVE-Acc评估指标更开创了基于语义理解的自动化评测新范式，对推动影视后期、广告制作等领域的智能化转型具有重要实践意义。