Multimodal-Fatima/Hatefulmemes_train

---
dataset_info:
features:
- name: image
dtype: image
- name: text
dtype: string
- name: label
dtype:
class_label:
names:
'0': not-hateful
'1': hateful
- name: id
dtype: int64
- name: clip_tags_ViT_L_14
sequence: string
- name: blip_caption
dtype: string
- name: LLM_Description_gpt3_downstream_tasks_ViT_L_14
sequence: string
- name: clip_tags_LAION_ViT_H_14_2B
sequence: string
- name: blip_caption_beam_5
dtype: string
- name: LLM_Description_gpt3_downstream_tasks_visual_genome_ViT_L_14
sequence: string
- name: LLM_Description_gpt3_downstream_tasks_visual_genome_LAION-ViT-H-14-2B
sequence: string
- name: DETA_detections_deta_swin_large_o365_coco_classes
list:
- name: attribute
dtype: string
- name: box
sequence: float32
- name: label
dtype: string
- name: location
dtype: string
- name: ratio
dtype: float32
- name: size
dtype: string
- name: tag
dtype: string
- name: Attributes_ViT_L_14_descriptors_text_davinci_003_full
sequence: string
- name: Attributes_LAION_ViT_H_14_2B_descriptors_text_davinci_003_full
sequence: string
splits:
- name: train
num_bytes: 3066249406.0
num_examples: 8500
download_size: 3059695187
dataset_size: 3066249406.0
---
# Dataset Card for "Hatefulmemes_train"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
数据集信息：
特征字段：
- 字段名：图像（image），数据类型：图像类型
- 字段名：文本（text），数据类型：字符串类型
- 字段名：标签（label），数据类型：分类标签（class_label），类别映射为：'0' 表示非仇恨（not-hateful），'1' 表示仇恨（hateful）
- 字段名：ID（id），数据类型：64位整数（int64）
- 字段名：ViT-L/14 模型提取的CLIP（Contrastive Language-Image Pre-training）标签（clip_tags_ViT_L_14），数据类型：字符串序列
- 字段名：BLIP（Bootstrapping Language-Image Pre-training）图像字幕（blip_caption），数据类型：字符串类型
- 字段名：基于ViT-L/14、针对下游任务的大语言模型（Large Language Model）描述（由GPT-3（Generative Pre-trained Transformer 3）生成，LLM_Description_gpt3_downstream_tasks_ViT_L_14），数据类型：字符串序列
- 字段名：LAION-ViT-H-14-2B 模型提取的CLIP标签（clip_tags_LAION_ViT_H_14_2B），数据类型：字符串序列
- 字段名：束搜索参数为5的BLIP图像字幕（blip_caption_beam_5），数据类型：字符串类型
- 字段名：基于ViT-L/14、针对视觉基因组（Visual Genome）下游任务的大语言模型描述（由GPT-3生成，LLM_Description_gpt3_downstream_tasks_visual_genome_ViT_L_14），数据类型：字符串序列
- 字段名：基于LAION-ViT-H-14-2B、针对视觉基因组下游任务的大语言模型描述（由GPT-3生成，LLM_Description_gpt3_downstream_tasks_visual_genome_LAION-ViT-H-14-2B），数据类型：字符串序列
- 字段名：基于DETA_swin_large_o365_coco_classes的检测结果（DETA_detections_deta_swin_large_o365_coco_classes），为列表类型，包含以下子字段：
- 子字段名：属性（attribute），数据类型：字符串类型
- 子字段名：边界框（box），数据类型：32位浮点数（float32）序列
- 子字段名：检测标签（label），数据类型：字符串类型
- 子字段名：位置（location），数据类型：字符串类型
- 子字段名：宽高比（ratio），数据类型：32位浮点数
- 子字段名：尺寸（size），数据类型：字符串类型
- 子字段名：标签（tag），数据类型：字符串类型
- 字段名：基于ViT-L/14、由text-davinci-003生成的完整属性描述符序列（Attributes_ViT_L_14_descriptors_text_davinci_003_full），数据类型：字符串序列
- 字段名：基于LAION-ViT-H-14-2B、由text-davinci-003生成的完整属性描述符序列（Attributes_LAION_ViT_H_14_2B_descriptors_text_davinci_003_full），数据类型：字符串序列
数据划分：
- 划分名称：训练集（train），总字节数：3066249406.0，样本数量：8500
下载大小：3059695187 字节
数据集总大小：3066249406.0 字节
---
# “仇恨模因训练集”数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• Hatefulmemes_train

数据集特征

• image：图像数据
• text：文本数据，类型为字符串
• label：分类标签，类型为类别标签，包含两个类别：0: not-hateful, 1: hateful
• id：标识符，类型为int64
• clip_tags_ViT_L_14：序列，类型为字符串
• blip_caption：文本数据，类型为字符串
• LLM_Description_gpt3_downstream_tasks_ViT_L_14：序列，类型为字符串
• clip_tags_LAION_ViT_H_14_2B：序列，类型为字符串
• blip_caption_beam_5：文本数据，类型为字符串
• LLM_Description_gpt3_downstream_tasks_visual_genome_ViT_L_14：序列，类型为字符串
• LLM_Description_gpt3_downstream_tasks_visual_genome_LAION-ViT-H-14-2B：序列，类型为字符串
• DETA_detections_deta_swin_large_o365_coco_classes：列表，包含以下子特征：
  • attribute：文本数据，类型为字符串
  • box：序列，类型为float32
  • label：文本数据，类型为字符串
  • location：文本数据，类型为字符串
  • ratio：数值，类型为float32
  • size：文本数据，类型为字符串
  • tag：文本数据，类型为字符串
• Attributes_ViT_L_14_descriptors_text_davinci_003_full：序列，类型为字符串
• Attributes_LAION_ViT_H_14_2B_descriptors_text_davinci_003_full：序列，类型为字符串

数据集分割

• train：训练集，包含8500个样本，数据大小为3066249406.0字节

数据集大小

• 下载大小：3059695187字节
• 数据集大小：3066249406.0字节

搜集汇总

数据集介绍

构建方式

Hatefulmemes_train数据集源自Facebook AI提出的Hateful Memes Challenge，旨在推动多模态仇恨言论检测研究。该数据集构建时，从互联网收集了大量图文结合的梗图（memes），并经过人工标注，将样本划分为“仇恨”与“非仇恨”两类。为增强数据集的实用性与分析深度，构建者额外引入了丰富的多模态特征：包括基于CLIP和BLIP等预训练模型提取的图像标签、图像描述，以及由GPT-3生成的场景描述文本。此外，还包含了DETA目标检测模型输出的检测框、属性与位置信息，以及多种视觉语言模型生成的属性描述，形成了多层次、多来源的语义增强标注体系。

使用方法

使用该数据集时，研究者可直接加载HuggingFace上的预分割训练集，利用其提供的图像、文本及标签进行基础的二分类模型训练。更进一步的，可调用丰富的预计算特征（如clip_tags、blip_caption、LLM_Description等）作为多模态输入，构建融合视觉与语言语义的检测框架。DETA检测结果可用于引入目标级注意力机制或空间关系建模。由于数据集已包含多种模型生成的高级描述，研究者可探索零样本或少样本学习场景，或利用这些描述作为辅助监督信号提升模型泛化能力。推荐使用PyTorch或TensorFlow结合HuggingFace Datasets库进行高效数据加载与预处理。

背景与挑战

背景概述

在社交媒体时代，多模态内容（如图文结合）已成为信息传播的主要载体，但同时也滋生了大量隐含仇恨言论的恶意信息。Multimodal-Fatima/Hatefulmemes_train 数据集由研究机构于近年构建，旨在系统性地探究图像与文本联合表征下的仇恨言论检测问题。该数据集源自经典的 Hateful Memes 挑战赛，核心研究问题聚焦于如何突破单一模态分析的局限，利用视觉与语言的互补信息识别具有讽刺或隐喻性质的仇恨内容。其影响力在于推动了多模态学习与社交内容审核的交叉研究，为构建更鲁棒的线上安全机制提供了标准化基准。

当前挑战

该数据集所解决的领域挑战在于仇恨言论的多模态表征复杂性：单纯依赖文本或图像容易遗漏隐含的恶意意图，而图文间的语义冲突或协同关系往往需要模型具备跨模态理解能力。构建过程中面临的挑战包括：数据标注的主观性导致标签一致性难以保障，尤其是对于文化背景依赖极强的讽刺性内容；多模态特征的提取与对齐需要兼顾计算效率与语义保真度，如数据集内包含多种预训练模型生成的标签（如 CLIP、BLIP 描述），其噪声与冗余性增加了模型训练的难度；此外，数据规模有限（仅 8500 个训练样本），限制了深度学习模型对长尾仇恨模式的泛化能力。

常用场景

经典使用场景

该数据集作为多模态仇恨言论检测的基准资源，被广泛用于训练和评估能够同时理解图像与文本语义的深度学习模型。研究者通常利用其成对的图像-文本样本及二元标签（仇恨/非仇恨），探索视觉语言模型如何捕捉跨模态线索中的恶意内容。经典范式包括构建融合视觉特征（如CLIP嵌入）与语言特征的分类器，或采用端到端的多模态Transformer架构，以精准识别图像配文中的攻击性隐喻、讽刺或歧视性表达。

解决学术问题

该数据集有效解决了多模态内容中仇恨言论自动识别的学术难题，特别是当恶意信息仅通过图文组合（而非单一模态）传递时的检测困境。它为验证跨模态语义对齐理论提供了实证基础，推动了对抗性样本生成、模态缺失鲁棒性等研究方向。其公开标注的8500条样本促使学界从单模态文本分析转向多模态融合推理，显著提升了网络有害内容治理的学术严谨性与可复现性。

实际应用

在实际应用中，该数据集支撑了社交媒体平台的内容审核系统优化，使算法能够自动拦截结合讽刺性图片与煽动性文字的仇恨传播。它被用于开发实时监测工具，在政治选举、公共卫生事件等敏感时期辅助识别煽动性模因。此外，其衍生技术已应用于广告合规审查、网络社区文明度评估等场景，帮助平台在保护言论自由与遏制恶意内容之间取得平衡。

数据集最近研究

最新研究方向

在社交媒体内容审核领域，仇恨言论检测一直是备受关注的前沿课题。Hatefulmemes_train数据集聚焦于多模态仇恨内容识别，融合图像与文本信息，针对网络空间中日益泛滥的恶意模因现象提供了关键研究资源。当前研究热点集中在大规模预训练视觉语言模型（如CLIP、BLIP）在该任务上的迁移与微调，以及结合细粒度物体检测与属性描述增强模型对讽刺性、隐喻性仇恨内容的语义理解。此外，借助大语言模型（如GPT-3）生成的辅助描述与标签，研究者正探索如何利用外部知识提升模型对跨模态语义冲突的感知能力。该数据集的出现不仅推动了多模态仇恨检测从单一特征向语义深层对齐的方向演进，也为构建更安全、包容的在线社区提供了数据基础与评估基准。