hateful_memes_fine_grained

Hateful Memes Fine-Grained Dataset 是对广泛使用的 Hateful Memes 数据集的细粒度扩展，旨在支持对有害多模态内容进行更细致的分析。原始数据集专注于二元仇恨分类，而此扩展引入了额外的注释维度，以更细粒度的方式捕捉不文明和不容忍行为。数据集包含 2,030 个模因，每个模因由三名注释者独立注释。注释既包括单个注释者的标签，也包括二值化后的多数投票聚合标签。该数据集的目标是区分有害内容的不同方面，特别是将语气（不文明）与内容（不容忍）分开，并支持内容审核、多模态理解和负责任 AI 的研究。数据集由两部分组成：注释级数据（包含每个注释者的单独注释，共 6,090 行）和聚合数据（包含多数投票后的标签，共 2,030 行）。数据集的语言为英语，采用 MIT 许可证。

原始信息汇总

Hateful Memes Fine-Grained 数据集概述

基本信息

• 数据集名称：Hateful Memes Fine-Grained Dataset
• 维护者：Nils A. Herrmann
• 语言：英语
• 许可证：MIT
• 数据来源：基于 Hateful Memes 数据集构建
• 相关资源：
  • 代码仓库：https://github.com/nils-herrmann/beyond_hate
  • 预印本论文：https://arxiv.org/abs/2603.22985

数据集简介

该数据集是广泛使用的 Hateful Memes 数据集的细粒度扩展，旨在支持对有害多模态内容进行更细致的分析。原始数据集侧重于二元仇恨性分类，而此扩展引入了额外的注释维度，以更细粒度的级别捕捉不文明和不容忍内容。

数据集包含 2,030 个模因（meme）的子集，每个模因由三位标注者独立标注。标注既提供个体标注者级别的数据，也提供二值化后的聚合多数投票标签。

数据集结构

数据集包含两个主要配置：

1. 聚合数据 (aggregated)

• 描述：包含二值化后的多数投票标签。
• 数据量：2,030 行（每个模因一行）。
• 特征：
  • id：模因标识符 (int64)
  • img：图像文件名 (string)
  • original_split：在原始数据集中的对应划分 (string)
  • label_hateful：原始二元标签 (int64)
  • label_incivility：多数投票后的二元标签 (int64)
  • label_intolerance：多数投票后的二元标签 (int64)
• 数据划分与大小：
  • 训练集：1,420 个样本，84,506 字节
  • 验证集：203 个样本，12,080 字节
  • 测试集：407 个样本，24,220 字节
• 总下载大小：38,974 字节
• 总数据集大小：120,806 字节

2. 标注级数据 (annotations)

• 描述：包含来自每位标注者的个体标注。
• 数据量：6,090 行（2,030 个样本 × 3 位标注者）。
• 特征：
  • id：模因标识符 (int64)
  • annotator：标注者标识符 (string)
  • label_hateful：原始二元标签 (int64)
  • label_incivility：多类别标签（逗号分隔）(string)
  • label_intolerance：多类别标签（逗号分隔）(string)
• 数据划分与大小：
  • 训练集：6,090 个样本，234,632 字节
• 总下载大小：27,211 字节
• 总数据集大小：234,632 字节

预期用途

• 训练和评估多模态分类模型。
• 研究超越二元仇恨性的细粒度有害内容检测。
• 分析不文明（语气）与不容忍（内容）之间的区别。
• 评估内容审核系统中的偏见和公平性。
• 研究标注不一致性和不确定性建模。

超出范围的用途：不应在没有人工监督的情况下用于全自动审核系统。

数据集创建

动机

现有的多模态仇恨检测数据集主要关注二元标签，这掩盖了有害内容中的重要区别。创建此数据集旨在：

• 捕捉有害性的不同维度。
• 实现更可解释的模型行为。
• 支持标注模糊性和不一致性的研究。
• 为细粒度审核策略提供测试平台。

数据收集与处理

• 从 Hateful Memes 数据集中选择了 2,030 个模因的子集。
• 每个模因由三位标注者独立标注。
• 标注内容包括：
  • 二元仇恨性
  • 不文明类别（语气）
  • 不容忍类别（内容）
• 通过以下方式计算聚合标签：
  • 标签二值化
  • 多数投票

标注者

• 2 位专家标注者：具有社会科学背景和传播学研究经验。
• 1 位经过培训的非专家标注者：具有计算机科学背景，接受了任务特定培训。

标注流程

• 每个模因由3 位标注者标注。
• 标注分两个阶段进行：
  1. 初始标注
  2. 审查/解决分歧（如适用）

偏见、风险与局限性

• 标注的主观性。
• 数据集规模有限（2,030 个样本）。
• 标注者因背景差异导致的偏见。
• 对有害内容解释的文化偏见。
• 模因的合成性质可能限制其在现实世界中的泛化能力。

引用信息

引用格式： Herrmann, N. A., Eder, T., He, J., & Groh, G. (2026). Beyond Hate: Differentiating Uncivil and Intolerant Speech in Multimodal Content Moderation (arXiv:2603.22985). arXiv. https://doi.org/10.48550/arXiv.2603.22985

BibTeX： bibtex @misc{herrmann2026hatedifferentiatinguncivilintolerant, title={Beyond Hate: Differentiating Uncivil and Intolerant Speech in Multimodal Content Moderation}, author={Nils A. Herrmann and Tobias Eder and Jingyi He and Georg Groh}, year={2026}, eprint={2603.22985}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2603.22985}, }

搜集汇总

数据集介绍

构建方式

在有害多模态内容分析领域，现有数据集大多局限于二元分类，难以捕捉言语伤害的复杂维度。为此，Hateful Memes Fine-Grained 数据集从广泛使用的 Hateful Memes 基准中精选了 2030 个模因样本，由三位标注者独立进行细粒度标注。标注过程不仅保留了原始的二元仇恨性标签，还引入了不文明（语气）和不宽容（内容）两个维度的多类别标注。最终通过二值化和多数投票机制，生成了聚合后的多数标签，旨在解构有害内容的不同层面，为模型提供更丰富的监督信号。

特点

该数据集的核心特点在于其多维度的标注体系，突破了传统二元仇恨检测的局限。每个模因样本均包含仇恨性、不文明与不宽容三个独立的标签维度，其中后两者采用多类别形式，能够细致区分言语伤害的语气与内容。数据集提供了标注者个体层面的原始标注与聚合后的多数标签两种形式，共计 6090 条个体标注和 2030 条聚合数据，为研究标注者间分歧与不确定性建模提供了宝贵资源。其结构清晰，便于直接用于多模态分类模型的训练与评估。

使用方法

该数据集主要用于支持多模态内容理解的细粒度研究。研究者可利用其聚合数据直接训练模型，以同时预测样本的仇恨性、不文明性及不宽容性。标注者级别的数据则适用于分析标注者间一致性、建模标注不确定性，或开发能够处理模糊边界的分类器。在具体应用中，应优先加载 `aggregated` 配置以获得多数投票标签用于主流模型训练；而 `annotations` 配置则适用于社会计算或人机交互领域，用于深入探究有害内容的感知差异。使用时应充分考虑其合成数据特性与标注主观性带来的泛化限制。

背景与挑战

背景概述

随着社交媒体中多模态内容的激增，有害信息的自动检测成为内容审核领域的关键挑战。Hateful Memes Fine-Grained数据集由Nils A. Herrmann等人于2026年构建，作为广泛使用的Hateful Memes数据集的细粒度扩展，旨在支持对有害多模态内容进行更细致的分析。该数据集聚焦于解构有害内容的不同维度，特别是将语气层面的不文明行为与内容层面的不容忍态度区分开来，从而推动多模态理解、负责任人工智能及内容审核系统的研究。其核心研究问题在于超越二元的仇恨性分类，通过引入不文明和不容忍的细粒度标注，为模型提供更丰富的语义信息，以增强对复杂有害内容的识别与解释能力。

当前挑战

在领域问题层面，该数据集致力于解决多模态有害内容检测中的细粒度分类挑战，即如何准确区分不文明语气与不容忍内容，这一区分对于实现精准的内容审核至关重要。然而，构建过程中面临多重挑战：首先，标注过程涉及高度主观性，不同背景的标注者可能对有害内容的理解存在差异，导致标注不一致；其次，数据集规模有限，仅包含2030个样本，可能影响模型的泛化能力；此外，合成生成的模因内容与真实世界场景存在差距，可能限制模型在实际应用中的表现；最后，文化偏见在有害内容解读中难以避免，增加了数据集构建的复杂性与公平性考量。

常用场景

经典使用场景

在社交媒体内容审核领域，Hateful Memes Fine-Grained数据集被广泛用于训练和评估多模态分类模型。该数据集通过精细标注的仇恨性、不文明性和不容忍性标签，为研究者提供了深入分析有害多模态内容的工具。其经典使用场景包括构建能够区分内容与语气的模型，从而提升对网络迷因中隐含危害的识别能力，推动多模态理解技术的进步。

实际应用

在实际应用中，该数据集支持社交媒体平台和内容审核机构开发更精准的自动化辅助工具。通过区分不文明语气与不容忍内容，系统可以优先处理更具社会危害性的信息，优化审核资源的分配。此外，它还能用于培训审核人员，提升他们对多模态有害内容的敏感度和判断一致性，增强网络环境的治理效能。

衍生相关工作

围绕该数据集衍生的经典工作包括多模态仇恨检测模型的细粒度扩展研究，例如基于注意力机制的架构改进，以捕捉图像与文本间的微妙交互。同时，研究者利用其标注分歧数据探索不确定性建模方法，并开发了针对不文明与不容忍类别的公平性评估基准，进一步推动了负责任人工智能领域的前沿发展。