H-VLI (Hate via Vision-Language Interplay)

H-VLI是一个专门用于解译多模态仇恨言论中语义意图转移的基准数据集，其中毒性通常源于良性模态之间的微妙相互作用。该数据集通过共识过滤、生成注入和人工标注的混合流程构建，确保包含大量具有挑战性的多模态样本，其中真实意图从根本上依赖于模态的复杂相互作用，而非孤立的视觉或文本侮辱。

H-VLI is a benchmark dataset specifically designed for interpreting semantic intent shift in multimodal hate speech, where the toxicity typically arises from the subtle interactions between benign modalities. This dataset is constructed via a hybrid pipeline of consensus filtering, generation injection, and manual annotation, ensuring that it contains a large number of challenging multimodal samples where the true intent fundamentally relies on the complex interactions between modalities rather than isolated visual or textual insults.

原始信息汇总

H-VLI 数据集概述

数据集基本信息

• 数据集名称：H-VLI (Hate via Vision-Language Interplay)
• 核心目标：为解析多模态仇恨言论中的“语义意图转移”而构建的基准数据集，重点关注毒性从良性模态间微妙交互中产生的现象。
• 关联论文：已被 ACL 2026 Findings 接收。
• 许可证：数据集基于 CC BY 4.0 许可证发布，使用者需遵守源数据集（MMHS150K, FHM）的条款。

数据集构建与特点

• 构建动机：针对仇恨言论从纯文本演变为复杂多模态表达的趋势，传统二元检测方法难以识别隐含攻击。H-VLI 机制旨在捕捉“语义意图转移”。
• 构建方法：采用共识过滤、生成注入和人工标注的混合流程，确保数据集中包含大量具有挑战性的多模态样本，其真实意图根本上依赖于模态间的复杂交互，而非孤立的视觉或文本侮辱。
• 数据构成：包含从现有数据集（FHM, MMHS150K）采样和生成注入的样本，专门针对微妙的跨模态交互进行策划。

数据标注与分类

• 标注范式：采用分层多模态交互（Stratified Multimodal Interaction, SMI）范式。
• 标注格式：每个样本标注一个五元组，明确包含单模态情感标签、解释以及最终的多模态标签：$mathcal{A}_i = (y_i^{ ext{text}}, e_i^{ ext{text}}, y_i^{ ext{image}}, e_i^{ ext{image}}, y_i^{ ext{combined}})$。
• 交互模式分类：根据单模态信号（$y_{ ext{text}}, y_{ ext{image}}$）与组合结果（$y_{ ext{combined}}$）之间的交互，定义了八种模式（$(y_{ ext{text}}, y_{ ext{image}}, y_{ ext{combined}}) in {0,1}^3$，其中1表示毒性，0表示良性）。依据推理复杂度分为三个等级：
  1. 低复杂度（对齐/主导）：包括纯良性（0,0,0）、冗余仇恨（1,1,1）和单模态主导（1,0,1 或 0,1,1）。
  2. 中复杂度（语境中和）：包括一个模态的毒性被另一个模态的良性语境所缓解的模式（1,0,0 或 0,1,0）。
  3. 高复杂度（涌现语义转移）：严格测试 H-VLI 基准，包括协同仇恨（0,0,1）和双重反转（1,1,0）。这些模式要求深度推理能力来解决最终标签与两个单模态信号均矛盾的案例。

数据获取与结构

• 图像数据来源：
  • FHM 图像：从 Kaggle 下载。
  • MMHS150K 图像：从 官方网站 下载。
  • H-VLI 图像：从 Google Drive 下载。
• 数据集划分：标准的训练/测试集划分文件位于 data/ 目录下（train_set.json 和 test_set.json）。
• 目录结构建议： text imgs/ ├── FHM/ # Facebook Hateful Meme 的 .jpg 文件 ├── MMHS150K/ # MMHS150K 的 .jpg 文件 └── H-VLI_images/ # H-VLI 的 .jpg 文件

关联方法

• 方法框架：ARCADE (Asymmetric Reasoning via Courtroom Agent DEbate)，一个模拟司法过程以解析多模态意图转移的分层法庭框架。
• 框架特点：采用门控双轨机制，包含快速扫描、快速审判轨道（显性仇恨）、深度审判轨道（隐性仇恨）和即决驳回流程，核心角色包括检察官、辩护人和法官。

引用信息

如果使用本数据集或相关工作，请引用： bibtex @article{sun2026sumpartsdecipheringintent, title={More Than Sum of Its Parts: Deciphering Intent Shifts in Multimodal Hate Speech Detection}, author={Runze Sun and Yu Zheng and Zexuan Xiong and Zhongjin Qu and Lei Chen and Jiwen Lu and Jie Zhou}, journal={arXiv preprint arXiv:2603.21298}, year={2026} }

搜集汇总

数据集介绍

构建方式

随着多模态仇恨言论从显性攻击演变为隐晦表达，传统检测方法难以捕捉跨模态交互中产生的语义意图偏移。H-VLI数据集的构建采用了一种混合流程，融合了共识过滤、生成注入和人机协同标注技术。该流程首先从真实世界数据源（如FHM和MMHS150K）中筛选基础样本，随后通过生成模型注入精心设计的跨模态交互案例，以模拟语义意图的微妙转变。最终，通过严格的人工标注环节，为每个样本标注了包含单模态情感与多模态综合标签的五元组，确保了数据集中高难度样本的密度，其中毒性往往仅源于看似良性的文本与图像之间的复杂 interplay。

特点

H-VLI数据集的核心特征在于其专注于捕捉“语义意图偏移”现象，即仇恨含义并非源自单一模态的显性表达，而是通过文本与图像之间的微妙 interplay 而涌现或中和。数据集引入了分层多模态交互（SMI）范式，将样本依据推理复杂度划分为三个层次：低复杂度的对齐或主导模式、中等复杂度的语境中和模式，以及高复杂度的涌现语义偏移模式。这种分层设计使得数据集能够系统性地评估模型在应对跨模态冲突与协同时的深层推理能力，尤其擅长挑战那些需要解析隐性仇恨或语义反转的复杂场景。

使用方法

为有效利用H-VLI数据集进行多模态仇恨言论检测研究，用户需首先按照指定目录结构下载并组织相关图像数据。数据集的标准划分已提供于`data/`目录下的JSON文件中。研究实践可依托官方提供的ARCADE（非对称推理法庭代理辩论）框架进行，该框架模拟司法流程，通过检察官、辩护人和法官三个智能体角色的层次化辩论来揭示隐性的跨模态意图偏移。用户可通过配置`main.py`中的参数来选择运行模式、分类标准和采样数量，并利用多线程并发处理API请求，从而对模型在数据集不同难度层级上的性能进行全面评估与比较。

背景与挑战

背景概述

随着社交媒体中仇恨言论的表达形式从单一文本演变为复杂的多模态内容，传统基于单模态或简单融合的检测方法难以应对由图文微妙互动所产生的隐性攻击。为应对这一挑战，研究团队于2026年提出了H-VLI（Hate via Vision-Language Interplay）基准数据集，其核心研究问题聚焦于识别多模态仇恨言论中的“语义意图转移”现象，即毒性往往产生于看似良性的文本与图像之间的协同作用。该数据集由共识过滤、生成注入与人机协同标注的混合流程构建，旨在推动多模态内容安全领域向更深层次的推理与理解发展，相关成果已被ACL 2026 Findings收录，标志着该方向在自然语言处理与计算机视觉交叉领域的重要影响力。

当前挑战

H-VLI数据集致力于解决多模态仇恨言论检测中的核心挑战，即如何准确识别由图文交互引发的语义意图转移，例如从良性单模态线索中涌现的隐性仇恨，或通过反讽消解表面毒性的复杂情形。在构建过程中，研究团队面临确保样本中仇恨意图严格依赖于跨模态交互而非单模态线索的挑战，这需要通过精细的标注范式对八种交互模式进行分层，以涵盖从显性对齐到高复杂度语义转移的连续谱系。此外，数据收集需平衡真实世界样本与生成样本的融合，并在处理敏感内容时遵循严格的伦理准则，以构建既具挑战性又可靠的研究基准。

常用场景

经典使用场景

在社交媒体内容安全治理领域，H-VLI数据集被广泛应用于多模态仇恨言论检测模型的基准测试与性能评估。该数据集通过精心设计的语义意图转移样本，挑战模型对图文间微妙互动的理解能力，尤其侧重于从表面良性的单模态线索中识别出隐含的协同仇恨。研究者通常利用其分层难度标注，系统性地评估模型在不同复杂度交互模式下的鲁棒性，从而推动检测技术从显性内容过滤向深层语义推理演进。

实际应用

该数据集的实际价值体现在社交媒体平台的内容审核系统中，能够助力开发更精准的多模态仇恨言论识别工具。通过训练模型识别图文组合中产生的语义偏移，系统可有效检测出利用隐喻、反讽或文化符号进行伪装的有害内容，减少误判与漏判。此外，其分层难度设计也为审核系统的风险分级与人工复核优先级设置提供了理论依据，优化了内容安全治理的资源分配效率。

衍生相关工作

围绕H-VLI数据集，研究者已衍生出多项经典工作，其中最具代表性的是与之配套提出的ARCADE框架。该框架模拟法庭辩论的层次化推理过程，通过检察官、辩护人与法官的智能体协作，专门针对数据集中高复杂度的语义转移样本进行深度剖析。此外，基于该数据集标注范式的多模态交互分类研究、针对隐性仇恨的因果推理模型以及跨模态对齐的对抗性训练方法，也已成为该领域的重要研究方向。