FiVE-Bench

FiVE-Bench数据集提供了一个丰富、结构化的细粒度视频编辑基准。该数据集包括420个高质量的源-目标提示对，涵盖六种细粒度视频编辑任务：1. 对象替换（刚性）；2. 对象替换（非刚性）；3. 颜色变更；4. 材质修改；5. 对象添加；6. 对象移除。

The FiVE-Bench dataset provides a rich, structured fine-grained video editing benchmark. This dataset includes 420 high-quality source-target prompt pairs, covering six fine-grained video editing tasks: 1. Rigid object replacement; 2. Non-rigid object replacement; 3. Color modification; 4. Material modification; 5. Object addition; 6. Object removal.

原始信息汇总

FiVE-Bench 数据集概述

📌 基本信息

• 数据集名称: FiVE-Bench (Fine-Grained Video Editing Benchmark)
• 论文标题: FiVE-Bench: A Fine-Grained Video Editing Benchmark for Evaluating Emerging Diffusion and Rectified Flow Models
• 会议: ICCV 2025
• 作者: Minghan Li, Chenxi Xie, Yichen Wu, Lei Zhang, Mengyu Wang
• 机构: 哈佛大学、香港理工大学、香港城市大学

📊 数据集内容

• 规模: 420个高质量源-目标提示对
• 任务类型: 6种细粒度视频编辑任务
  1. 物体替换（刚性）
  2. 物体替换（非刚性）
  3. 颜色改变
  4. 材质修改
  5. 物体添加
  6. 物体移除

📂 数据结构

📁 /path/to/code/FiVE_Bench/data ├── 📁 assets/ ├── 📁 edit_prompt/ │ ├── 📄 edit1_FiVE.json │ ├── 📄 edit2_FiVE.json │ ├── 📄 edit3_FiVE.json │ ├── 📄 edit4_FiVE.json │ ├── 📄 edit5_FiVE.json │ └── 📄 edit6_FiVE.json ├── 📄 README.md ├── 📦 bmasks.zip ├── 📁 bmasks │ ├── 📁 0001_bus │ ├── 🖼️ 00001.jpg │ ├── 🖼️ 00002.jpg │ ├── 🖼️ ... │ ├── 📁 ... ├── 📦 images.zip ├── 📁 images │ ├── 📁 0001_bus │ ├── 🖼️ 00001.jpg │ ├── 🖼️ 00002.jpg │ ├── 🖼️ ... │ ├── 📁 ... ├── 📦 videos.zip ├── 📁 videos │ ├── 🎞️ 0001_bus.mp4 │ ├── 🎞️ 0002_girl-dog.mp4 │ ├── 🎞️ ...

📈 评估方法

1. 传统指标（六个关键方面）

• 结构保持
• 背景保持（PSNR、LPIPS、MSE、SSIM）
• 编辑提示-图像一致性（全图和掩码图像的CLIP相似度）
• 图像质量评估（NIQE）
• 时间一致性（MFS：运动保真度得分）
• 运行效率

2. FiVE-Acc：基于VLM的编辑成功指标

• YN-Acc: 是/否问题准确率
• MC-Acc: 多项选择题准确率
• U-Acc: 并集准确率
• ∩-Acc: 交集准确率
• FiVE-Acc: 上述指标的平均值

📝 引用

bibtex @article{li2025five, title={Five: A fine-grained video editing benchmark for evaluating emerging diffusion and rectified flow models}, author={Li, Minghan and Xie, Chenxi and Wu, Yichen and Zhang, Lei and Wang, Mengyu}, journal={arXiv preprint arXiv:2503.13684}, year={2025} }

🔗 相关链接

• Hugging Face数据集: https://huggingface.co/datasets/LIMinghan/FiVE-Fine-Grained-Video-Editing-Benchmark
• GitHub仓库: https://github.com/MinghanLi/FiVE-Bench
• 项目主页: https://sites.google.com/view/five-benchmark

搜集汇总

数据集介绍

构建方式

FiVE-Bench数据集通过精心设计的流程构建，旨在为细粒度视频编辑任务提供标准化评估基准。研究团队收集了420组高质量视频素材，涵盖六类核心编辑任务，包括物体替换、颜色调整、材质修改等。每段视频均配备专业标注的源-目标提示对，并通过SAM2生成编辑掩膜以支持局部评估。数据集构建过程中采用了严格的视觉质量筛选机制，确保样本的多样性和代表性。

特点

该数据集最显著的特点在于其多维度评估体系设计。FiVE-Bench不仅包含传统视频质量指标如PSNR、LPIPS等，还创新性地引入了基于视觉语言模型的FiVE-Acc评估框架。数据集覆盖刚性/非刚性物体替换等六类细粒度任务，每类任务配备70组样本，确保评估的全面性。所有视频均保留原始帧序列与对应掩膜，支持像素级编辑效果分析。

使用方法

使用FiVE-Bench需遵循标准化评估流程：首先从Hugging Face下载数据集并按指定目录结构存放。用户可通过提供的Python脚本加载编辑提示文件，对基准视频实施编辑操作。评估阶段支持两种模式：传统指标评估需运行预设的shell脚本，而FiVE-Acc评估则依赖集成的VLM问答系统。数据集提供完整的安装指南和示例代码，支持对编辑结果的时空一致性和语义准确性进行量化分析。

背景与挑战

背景概述

FiVE-Bench是由哈佛大学、香港理工大学和香港城市大学的研究团队于2025年推出的细粒度视频编辑基准数据集，旨在评估扩散模型和整流流模型在视频编辑任务中的性能。该数据集由Minghan Li、Chenxi Xie等学者主导开发，包含420组高质量源-目标提示对，覆盖六类细粒度编辑任务：刚性物体替换、非刚性物体替换、颜色调整、材质修改、物体添加和物体删除。作为视频生成领域的重要基准，FiVE-Bench通过结构化评估框架推动了视频编辑技术向精细化、可控化方向发展，其创新性的视觉语言模型评估指标为相关研究提供了新的方法论支持。

当前挑战

FiVE-Bench面临的挑战主要体现在两个方面：在领域问题层面，细粒度视频编辑需要精确控制局部区域属性同时保持时空一致性，这对生成模型的语义理解与运动建模能力提出极高要求；在构建过程中，数据集需平衡编辑任务的多样性与评估指标的全面性，包括开发基于SAM2的编辑掩码生成系统，以及设计融合传统指标与VLM智能评估的混合度量体系。此外，确保420组视频样本在六类任务中的质量均匀性，以及建立可靠的基准模型比较机制，都是构建过程中需要解决的关键技术难题。

常用场景

经典使用场景

FiVE-Bench作为细粒度视频编辑领域的标杆数据集，其经典使用场景集中在评估扩散模型与修正流模型在复杂编辑任务中的表现。研究人员通过该数据集提供的420组高质量源-目标提示对，能够系统性地测试模型在六类核心编辑任务（如物体替换、色彩调整、材质修改等）中的性能。数据集精心设计的结构化评估框架，支持从像素级保真度到语义一致性的多维度量化分析，已成为视频生成领域模型迭代的重要试金石。

衍生相关工作

基于FiVE-Bench的评估框架，研究者已衍生出Pyramid-Edit多尺度编辑架构与Wan-Edit流形对齐算法等创新工作。其提出的VLM评估范式被后续研究如VideoFocalNet采纳作为基准验证方法，而运动保真度指标(MFS)则启发了MotionDiffuser等模型在时序一致性上的改进。数据集构建方法论更影响了EVE-Studio等后续基准在医疗视频编辑领域的构建。

数据集最近研究

最新研究方向

随着生成式人工智能技术的迅猛发展，视频编辑领域正经历着从传统方法到基于扩散模型和整流流模型的技术转型。FiVE-Bench作为细粒度视频编辑领域的前沿基准数据集，其最新研究聚焦于评估这些新兴生成模型在复杂编辑任务中的表现。该数据集通过涵盖物体替换、颜色调整、材质修改等六类精细编辑任务，为研究者提供了系统性的评估框架。当前研究热点包括如何提升生成视频的时空一致性，以及开发基于视觉语言模型的自动化评估指标FiVE-Acc，这些探索正在推动视频编辑技术向更高保真度和智能化方向发展。FiVE-Bench的建立不仅填补了细粒度视频编辑评估的空白，其创新的评估体系也为相关算法的性能优化提供了重要参考。