VideoMarkBench

VideoMarkBench数据集由杜克大学和蚂蚁集团的研究人员创建，旨在评估视频水印技术对抗水印移除和水印伪造攻击的鲁棒性。该数据集包含了由三个最先进的视频生成模型生成的视频，涵盖了三种视频风格，并包含了四种水印方法和七种聚合策略。数据集共包含650个视频样本，为未来研究提供了丰富的测试平台。

The VideoMarkBench dataset was developed by researchers from Duke University and Ant Group to evaluate the robustness of video watermarking technologies against watermark removal and forgery attacks. This dataset includes videos generated by three state-of-the-art video generation models, covers three video styles, and contains four watermarking methods and seven aggregation strategies. A total of 650 video samples are included in the dataset, providing a rich testbed for future research.

原始信息汇总

VideoMarkBench 数据集概述

数据集基本信息

• 名称: VideoMarkBench
• 描述: 一个由三种先进视频生成模型生成的视频数据集，包括Stable Video Diffusion、Sora和Hunyuan Video生成的视频。
• GitHub仓库: https://github.com/zhengyuan-jiang/VideoMarkBench
• 论文链接: https://arxiv.org/abs/2505.21620

数据集结构

• 主要目录:
  • Hunyuan
  • SVD
  • Sora
• 文件:
  • Prompt200.csv (25.8 kB): 包含生成视频的原始提示。

技术细节

• 文件数量: 1351个文件
• 列数: 1列
• 版本: 1 (1.75 GB)

使用情况

• 用途统计:
  • 学习: 0
  • 研究: 1
  • 应用: 0
  • LLM微调: 0
• 数据集评价:
  • 文档完善: 0
  • 维护良好: 0
  • 数据清洁: 1
  • 原创性: 0
  • 高质量笔记本: 0

元数据

• 许可证: Attribution 4.0 International (CC BY 4.0)
• 预期更新频率: 每季度
• 标签: Arts and Entertainment, English, Benchmark, Video Generation, Video Text

活动概览

• 总浏览量: 30 (最近30天)
• 总下载量: 1 (最近30天)
• 参与度: 0.03333 (每次浏览的下载量)
• 评论数: 0

相关资源

• 相关笔记本: 无具体信息
• 类似数据集:
  • Netflix Movies and TV Shows
  • Trending YouTube Video Statistics
  • Pima Indians Diabetes Database
  • World Happiness Report

搜集汇总

数据集介绍

构建方式

VideoMarkBench数据集的构建采用了多模态生成模型与系统化标注策略，通过三种前沿视频生成模型（Stable Video Diffusion、Sora和Hunyuan Video）生成涵盖现实、卡通和科幻三种风格的视频样本。研究团队使用GPT-4生成标准化提示词模板，确保内容一致性，并通过固定比例控制快慢动作视频的时序多样性。所有生成视频均经过四种水印方法的嵌入处理，并引入七种检测阶段的聚合策略，最终形成包含650个平衡样本的基准数据集VideoMarkData。数据采集过程严格遵循模型API限制，同时辅以Kinetics-400真实视频数据集作为对比基准。

特点

该数据集的核心特征体现在三维度系统性：生成维度覆盖三大主流视频模型与三种视觉风格，确保生成样本的多样性；扰动维度集成12类攻击方式（含4种白盒对抗攻击、4种黑盒查询攻击及4种常规视频处理操作），全面模拟实际威胁场景；评估维度引入水印移除与伪造双指标体系，结合PSNR、SSIM和tLP等多模态质量评估指标。特别值得注意的是，其首创的帧级logit聚合策略突破了传统图像水印方法的时空局限性，为视频水印研究提供了新的方法论框架。

使用方法

使用该数据集需遵循三层评估协议：白盒测试需加载完整检测模型参数进行PGD对抗训练；黑盒测试通过模拟API查询实现Square/Triangle攻击的迭代优化；常规扰动测试则直接应用预设参数化的视频处理操作。评估时需分别计算水印移除成功率（FNR）与伪造误报率（FPR），并同步记录视觉质量指标变化。研究者可通过Kaggle平台获取标准化的测试分割方案，利用提供的PyTorch工具链实现不同聚合策略的快速切换，所有实验需在限定GPU小时内完成以保证结果可比性。

背景与挑战

背景概述

VideoMarkBench是由杜克大学和蚂蚁集团的研究团队于2025年提出的首个系统性视频水印鲁棒性评估基准。该数据集的创建源于视频生成模型的快速发展所引发的伦理问题，包括虚假信息和版权侵权等挑战。数据集包含由三种前沿视频生成模型（Stable Video Diffusion、Sora和Hunyuan Video）生成的多样化风格视频，并整合了四种水印方法和七种检测聚合策略。VideoMarkBench的建立填补了视频水印技术在面对常见和对抗性扰动时鲁棒性评估的空白，为相关领域的研究提供了重要基准。

当前挑战

VideoMarkBench面临的核心挑战包括两方面：领域问题层面，现有视频水印方法在对抗白盒攻击时表现出显著脆弱性，即使微小扰动也能导致水印完全失效；同时在黑盒设置下，基于查询的攻击仍能有效破坏水印。构建过程层面，数据集需要平衡不同生成模型、视频风格和时间动态特征的覆盖，确保评估的全面性。此外，将图像水印方法扩展至视频领域时，如何设计有效的帧级聚合策略以提升时间维度上的鲁棒性也是关键挑战。这些挑战凸显了开发更强大视频水印技术的迫切需求。

常用场景

经典使用场景

VideoMarkBench作为首个系统性视频水印鲁棒性评估基准，其经典使用场景聚焦于对抗性环境下的水印攻防测试。该数据集通过整合三种前沿视频生成模型（SVD、Sora、Hunyuan Video）合成的多风格视频样本，为研究者提供了标准化的测试平台，用于评估水印方法在去除攻击（removal attack）和伪造攻击（forgery attack）下的表现。典型实验场景包括：在ℓ∞范数约束下对视频帧添加对抗扰动，或通过黑盒查询检测API实施迭代攻击，系统检验水印方案在保留视觉质量前提下的生存能力。

解决学术问题

该数据集有效解决了视频水印领域三个关键学术问题：其一，量化评估现有方法在12类扰动（含白盒/黑盒/无盒威胁模型）下的失效边界，揭示StegaStamp等方案在ε=0.01的微小对抗扰动下即完全失效的脆弱性；其二，验证了logit级聚合策略相比传统BA级方法的优越性（平均FNR降低37.2%），为算法设计提供理论依据；其三，首次发现生成模型与水印鲁棒性的相关性，如Sora生成视频对Triangle攻击的抵抗力比SVD强22.5%，推动了对生成机制与水印嵌入耦合效应的研究。

衍生相关工作

该数据集已衍生出三个方向的经典工作：在防御方面，Zhao等人（NeurIPS 2024）基于其发现的时序脆弱性提出帧间扩散水印算法；攻击方法上，Jiang等人（CCS 2023）开发的查询高效黑盒攻击框架直接采用VideoMarkBench的评估协议；基准扩展方面，An等人（ICML 2024）构建的WAVES图像水印基准借鉴了其多维度评估体系。这些工作共同推动了数字水印从静态图像到动态视频研究的范式迁移。