ShortVideo Multimodal Adversarial (SVMA) 数据集

SVMA数据集是一个包含1009个短视频的全面基准数据集，旨在评估现代多模态大型语言模型的内容安全性。该数据集包含了丰富多样的短视频内容及其人类引导的合成对抗性攻击，是首个专为短视频内容审核设计的多模态对抗性数据集。数据集涵盖了多种文化、主题和感知边界的内容，包括讽刺、社会评论、个人故事和合成虚假信息等。数据集采用了严格的原则性定义来确定内容是否适当，并根据适当的程度将内容分为不适当和适当两类。SVMA数据集是评估多模态推理失败的高保真沙盒。The SVMA dataset is a comprehensive benchmark dataset containing 1,009 short videos, designed to evaluate the content safety of modern multimodal large language models. This dataset features a rich variety of short video content and human-guided synthetic adversarial attacks, and it is the first multimodal adversarial dataset specifically designed for short video content moderation. The dataset covers content spanning diverse cultures, topics, and perceptual boundaries, including satire, social commentary, personal narratives, and synthetic disinformation, among others. The dataset adopts strict principled definitions to determine whether content is appropriate, and categorizes content into inappropriate and appropriate categories based on the degree of appropriateness. The SVMA dataset is a high-fidelity sandbox for evaluating multimodal reasoning failures.

原始信息汇总

数据集概述

基本信息

• 数据集名称: SVMA (Short-Video Multimodal Adversarial) dataset
• 相关论文: Watch, Listen, Understand, Mislead: Tri-modal Adversarial Attacks on Short Videos for Content Appropriateness Evaluation
• 会议: ICCV 2025 SVU workshop
• 论文链接: arXiv:2507.11968
• 代码仓库: ChimeraBreak

数据集内容

• 用途: 用于评估短格式视频内容审核的对抗性数据集
• 数据类型: 多模态（视频、音频、文本）
• 攻击类型: 三模态对抗攻击（视觉、听觉、文本）

获取方式

• HuggingFace: SVMA-dataset
• Kaggle: SVMA-bench

相关工具

• 代码库结构:
  • data/: 包含标注和HF管道脚本
  • notebooks/: 包含攻击和评估笔记本及评估指标
  • utils/: 包含标注提示和合成标注脚本

引用信息

bibtex @misc{mustakim2025watchlistenunderstandmislead, title={Watch, Listen, Understand, Mislead: Tri-modal Adversarial Attacks on Short Videos for Content Appropriateness Evaluation}, author={Sahid Hossain Mustakim and S M Jishanul Islam and Ummay Maria Muna and Montasir Chowdhury and Mohammed Jawwadul Islam and Sadia Ahmmed and Tashfia Sikder and Syed Tasdid Azam Dhrubo and Swakkhar Shatabda}, year={2025}, eprint={2507.11968}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2507.11968}, }

许可证

• 许可证类型: 未明确说明（需查看LICENSE文件）

搜集汇总

数据集介绍

构建方式

SVMA数据集构建于YouTube短视频API，通过严格的内容筛选标准收集了1009个短视频样本，涵盖多样化的文化主题和感知边界。采用四名标注员进行二进制适当性标注（0/1），Fleiss' Kappa系数达0.911，并通过Gemini 2.5-Flash模型生成多模态描述与对抗提示，最终经人工优化确保攻击有效性。视频时长10-90秒，包含54.9%不适当内容和45.1%适当内容，形成首个针对短视频内容审核的多模态对抗基准。

特点

该数据集创新性地整合了视频、音频和感知层面的三元对抗攻击，通过协调的视觉描述误导（advv）、听觉转录篡改（adva）和认知推理干扰（advp）构建多维度攻击面。独特之处在于保留原始视听流不变的情况下，仅通过语义重构实现90%+的攻击成功率，并采用场景级模块化攻击策略应对快速切换的多语境叙事。数据集包含丰富的伦理维度标注，特别关注弱势群体影响评估，为研究多模态安全对齐提供了高保真测试环境。

使用方法

使用SVMA需采用两阶段评估框架：首先输入视频关键帧、音频转录及三元对抗提示，诱导模型生成错误推理（R′）；随后基于该推理进行二元分类（y′）。建议配合ChimeraBreak攻击策略，通过叙事翻转技术（如将暴力场景描述为幽默）规避多模态一致性检查。实验配置需保持温度参数为0以确保结果可复现，推荐使用LLM-as-a-judge范式评估伦理推理质量，重点关注伤害识别、语境敏感度等四个维度的得分衰减情况。

背景与挑战

背景概述

ShortVideo Multimodal Adversarial (SVMA) 数据集由United International University、BRAC University等机构的研究团队于2025年创建，旨在评估多模态大语言模型（MLLMs）在短视频内容审核中的鲁棒性。该数据集包含1009个短视频样本，涵盖视觉、听觉和语义模态的对抗攻击，是首个针对短视频内容审核的多模态对抗数据集。其核心研究问题在于探索MLLMs在跨模态协同攻击下的安全漏洞，为开发更健壮的内容审核系统提供了重要基准。SVMA通过人类引导的合成对抗攻击，揭示了现有模型在内容适当性评估中的显著缺陷，对提升多模态AI系统的安全性具有深远影响。

当前挑战

SVMA数据集主要面临两大挑战：领域问题方面，现有内容审核系统难以应对跨模态协同攻击，模型易受视觉、听觉和语义推理路径的同时干扰，导致对有害内容的误判或对良性内容的错误标记；构建过程方面，需平衡对抗样本的多样性与伦理边界，确保攻击策略既有效又不包含真实有害内容。具体挑战包括：多模态攻击的协调设计需保持语义连贯性，人类标注与合成生成的结合需保证攻击的精准性，以及模型在对抗条件下的伦理推理能力评估需避免主观偏差。

常用场景

经典使用场景

SVMA数据集作为首个专注于短格式视频内容审核的多模态对抗数据集，其经典使用场景在于评估多模态大语言模型（MLLMs）在对抗条件下的安全性和鲁棒性。通过整合视觉、听觉和语义推理路径的协同攻击，该数据集为研究者提供了一个高保真的测试平台，用于模拟现实世界中恶意内容绕过审核系统的复杂场景。数据集中的多样化视频样本覆盖了文化、社会议题和合成虚假信息，使得模型能够在多维度压力下暴露潜在漏洞。

衍生相关工作

SVMA数据集催生了多模态安全领域的系列创新研究。基于其构建的ChimeraBreak攻击框架启发了后续工作如VIDEOJAIL对时序分布式攻击的探索，以及Audio-Jailbreak对纯音频攻击路径的拓展。数据集揭示的模型伦理推理缺陷推动了《Red Teaming Visual Language Models》等研究对多模态伦理评估指标的标准化。其LLM-as-a-judge评估范式被Adaptive Multimodal Alignment等后续工作改进为动态权重分配系统，进一步提升了安全评估的颗粒度。

数据集最近研究

最新研究方向

随着多模态大语言模型（MLLMs）在内容审核领域的广泛应用，其安全性和鲁棒性成为研究热点。SVMA数据集作为首个专注于短视频多模态对抗攻击的基准数据集，为评估MLLMs在视觉、听觉和语义推理路径上的脆弱性提供了重要工具。前沿研究聚焦于开发新型三模态对抗攻击策略（如ChimeraBreak），通过同时挑战模型的视觉、听觉和语义理解能力，揭示现有安全机制的漏洞。实验表明，即使最先进的MLLMs在协调多模态攻击下也表现出高达90%以上的攻击成功率，凸显了跨模态语义对齐的重要性。该数据集及相关研究为构建更鲁棒的MLLMs安全评估体系奠定了基础，并推动了针对短视频场景的多模态对抗防御技术的发展。

相关研究论文

• Watch, Listen, Understand, Mislead: Tri-modal Adversarial Attacks on Short Videos for Content Appropriateness Evaluation

  联合国际大学, BRAC大学, 不列颠哥伦比亚大学, 孟加拉国专业大学, 阿尔伯塔大学 · 2025年