Multimodal-Fatima/Hatefulmemes_test

--- dataset_info: features: - name: image dtype: image - name: text dtype: string - name: label dtype: class_label: names: '0': not-hateful '1': hateful - name: id dtype: int64 - name: clip_tags_ViT_L_14 sequence: string - name: LLM_Description_gpt3_downstream_tasks_ViT_L_14 sequence: string - name: blip_caption dtype: string - name: clip_tags_LAION_ViT_H_14_2B sequence: string - name: blip_caption_beam_5 dtype: string - name: LLM_Description_gpt3_downstream_tasks_visual_genome_ViT_L_14 sequence: string - name: LLM_Description_gpt3_downstream_tasks_visual_genome_LAION-ViT-H-14-2B sequence: string - name: DETA_detections_deta_swin_large_o365_coco_classes list: - name: attribute dtype: string - name: box sequence: float32 - name: label dtype: string - name: location dtype: string - name: ratio dtype: float32 - name: size dtype: string - name: tag dtype: string - name: DETA_detections_deta_swin_large_o365_coco_classes_caption_module_random list: - name: attribute dtype: string - name: box sequence: float64 - name: captions_module sequence: string - name: captions_module_filter sequence: string - name: label dtype: string - name: location dtype: string - name: ratio dtype: float64 - name: size dtype: string - name: tag dtype: string - name: Attributes_ViT_L_14_descriptors_text_davinci_003_full sequence: string - name: Attributes_LAION_ViT_H_14_2B_descriptors_text_davinci_003_full sequence: string - name: clip_tags_ViT_L_14_with_openai sequence: string - name: clip_tags_LAION_ViT_H_14_2B_with_openai sequence: string - name: blip_caption_topk_50_Salesforce_blip_image_captioning_large_multiple sequence: string - name: DETA_detections_deta_swin_large_o365_coco_classes_caption_all_patches_Salesforce_blip_image_captioning_large_ list: - name: attribute dtype: string - name: box sequence: float64 - name: captions_all_patches sequence: string - name: label dtype: string - name: location dtype: string - name: ratio dtype: float64 - name: size dtype: string - name: tag dtype: string - name: blip_caption_beam_5_Salesforce_blip_image_captioning_large dtype: string - name: clip_tags_LAION_ViT_H_14_2B_with_openai_wordnet sequence: string - name: blip_caption_5_Salesforce_blip_image_captioning_large_hf dtype: string - name: blip_caption_5_Salesforce_blip_image_captioning_large_hf_a meme of dtype: string - name: blip_caption_5_Salesforce_blip_image_captioning_large_max_length_30_hf dtype: string - name: blip_caption_5_Salesforce_blip_image_captioning_large_max_length_200_hf dtype: string - name: blip_caption_5_Salesforce_blip_image_captioning_large_max_length_200_hf_a meme of dtype: string - name: blip_caption_False_beams_5_Salesforce_blip_image_captioning_large_max_length_30_hf dtype: string - name: blip_caption_beam_False_5_source dtype: string - name: 'blip_caption_False_beams_5_base_capfilt_large_max_length_30_source_a pitcure of ' dtype: string - name: 'blip_caption_False_beams_5_base_capfilt_large_max_length_100_source_a pitcure of ' dtype: string - name: clip_tags_LAION_ViT_H_14_2B_simple_specific dtype: string - name: clip_tags_ViT_L_14_simple_specific dtype: string - name: clip_tags_LAION_ViT_H_14_2B_laion.pt sequence: string splits: - name: test num_bytes: 421626763.0 num_examples: 1000 download_size: 387589337 dataset_size: 421626763.0 --- # Dataset Card for "Hatefulmemes_test" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)dataset_info: 数据集信息： 特征字段： - 字段名："image"，数据类型：图像 - 字段名："text"，数据类型：字符串 - 字段名："label"，数据类型： 类别标签： 类别名称： '0': 非仇恨内容（not-hateful） '1': 仇恨内容（hateful） - 字段名："id"，数据类型：64位整数 - 字段名："clip_tags_ViT_L_14"，数据类型：字符串序列 - 字段名："LLM_Description_gpt3_downstream_tasks_ViT_L_14"，数据类型：字符串序列（该字段对应基于大语言模型（Large Language Model，LLM）GPT3的下游任务描述） - 字段名："blip_caption"，数据类型：字符串 - 字段名："clip_tags_LAION_ViT_H_14_2B"，数据类型：字符串序列 - 字段名："blip_caption_beam_5"，数据类型：字符串 - 字段名："LLM_Description_gpt3_downstream_tasks_visual_genome_ViT_L_14"，数据类型：字符串序列（该字段对应基于视觉基因组（Visual Genome）与大语言模型（Large Language Model，LLM）GPT3的下游任务描述） - 字段名："LLM_Description_gpt3_downstream_tasks_visual_genome_LAION-ViT-H-14-2B"，数据类型：字符串序列（该字段对应基于视觉基因组（Visual Genome）与LAION-ViT-H-14-2B模型的大语言模型（Large Language Model，LLM）GPT3下游任务描述） - 字段名："DETA_detections_deta_swin_large_o365_coco_classes"，数据类型为列表，包含子字段： - 字段名："attribute"，数据类型：字符串 - 字段名："box"，数据类型：float32序列 - 字段名："label"，数据类型：字符串 - 字段名："location"，数据类型：字符串 - 字段名："ratio"，数据类型：32位浮点型 - 字段名："size"，数据类型：字符串 - 字段名："tag"，数据类型：字符串 - 字段名："DETA_detections_deta_swin_large_o365_coco_classes_caption_module_random"，数据类型为列表，包含子字段： - 字段名："attribute"，数据类型：字符串 - 字段名："box"，数据类型：float64序列 - 字段名："captions_module"，数据类型：字符串序列 - 字段名："captions_module_filter"，数据类型：字符串序列 - 字段名："label"，数据类型：字符串 - 字段名："location"，数据类型：字符串 - 字段名："ratio"，数据类型：64位浮点型 - 字段名："size"，数据类型：字符串 - 字段名："tag"，数据类型：字符串 - 字段名："Attributes_ViT_L_14_descriptors_text_davinci_003_full"，数据类型：字符串序列（该字段对应基于ViT_L_14模型与达芬奇003（Davinci-003）的属性描述） - 字段名："Attributes_LAION_ViT_H_14_2B_descriptors_text_davinci_003_full"，数据类型：字符串序列（该字段对应基于LAION_ViT_H_14_2B模型与达芬奇003（Davinci-003）的属性描述） - 字段名："clip_tags_ViT_L_14_with_openai"，数据类型：字符串序列 - 字段名："clip_tags_LAION_ViT_H_14_2B_with_openai"，数据类型：字符串序列 - 字段名："blip_caption_topk_50_Salesforce_blip_image_captioning_large_multiple"，数据类型：字符串序列 - 字段名："DETA_detections_deta_swin_large_o365_coco_classes_caption_all_patches_Salesforce_blip_image_captioning_large_"，数据类型为列表，包含子字段： - 字段名："attribute"，数据类型：字符串 - 字段名："box"，数据类型：float64序列 - 字段名："captions_all_patches"，数据类型：字符串序列 - 字段名："label"，数据类型：字符串 - 字段名："location"，数据类型：字符串 - 字段名："ratio"，数据类型：64位浮点型 - 字段名："size"，数据类型：字符串 - 字段名："tag"，数据类型：字符串 - 字段名："blip_caption_beam_5_Salesforce_blip_image_captioning_large"，数据类型：字符串 - 字段名："clip_tags_LAION_ViT_H_14_2B_with_openai_wordnet"，数据类型：字符串序列 - 字段名："blip_caption_5_Salesforce_blip_image_captioning_large_hf"，数据类型：字符串 - 字段名："blip_caption_5_Salesforce_blip_image_captioning_large_hf_a meme of"，数据类型：字符串 - 字段名："blip_caption_5_Salesforce_blip_image_captioning_large_max_length_30_hf"，数据类型：字符串 - 字段名："blip_caption_5_Salesforce_blip_image_captioning_large_max_length_200_hf"，数据类型：字符串 - 字段名："blip_caption_5_Salesforce_blip_image_captioning_large_max_length_200_hf_a meme of"，数据类型：字符串 - 字段名："blip_caption_False_beams_5_Salesforce_blip_image_captioning_large_max_length_30_hf"，数据类型：字符串 - 字段名："blip_caption_beam_False_5_source"，数据类型：字符串 - 字段名："blip_caption_False_beams_5_base_capfilt_large_max_length_30_source_a pitcure of"，数据类型：字符串（原文存在拼写错误"pitcure"，已保留原样） - 字段名："blip_caption_False_beams_5_base_capfilt_large_max_length_100_source_a pitcure of"，数据类型：字符串（原文存在拼写错误"pitcure"，已保留原样） - 字段名："clip_tags_LAION_ViT_H_14_2B_simple_specific"，数据类型：字符串 - 字段名："clip_tags_ViT_L_14_simple_specific"，数据类型：字符串 - 字段名："clip_tags_LAION_ViT_H_14_2B_laion.pt"，数据类型：字符串序列 数据集拆分： - 拆分名称："test"（测试集），字节数：421626763.0，样本数量：1000 下载大小：387589337 数据集总大小：421626763.0 --- # 「Hatefulmemes_test」数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• Hatefulmemes_test

数据集特征

• image：图像数据
• text：文本数据，类型为字符串
• label：标签数据，类型为分类标签，包含两个类别：not-hateful 和 hateful
• id：标识符，类型为整数
• clip_tags_ViT_L_14：字符串序列
• LLM_Description_gpt3_downstream_tasks_ViT_L_14：字符串序列
• blip_caption：字符串
• clip_tags_LAION_ViT_H_14_2B：字符串序列
• blip_caption_beam_5：字符串
• LLM_Description_gpt3_downstream_tasks_visual_genome_ViT_L_14：字符串序列
• LLM_Description_gpt3_downstream_tasks_visual_genome_LAION-ViT-H-14-2B：字符串序列
• DETA_detections_deta_swin_large_o365_coco_classes：列表，包含属性、框、标签、位置、比率、大小和标签，类型分别为字符串、浮点数序列、字符串、字符串、浮点数和字符串
• DETA_detections_deta_swin_large_o365_coco_classes_caption_module_random：列表，包含属性、框、captions_module、captions_module_filter、标签、位置、比率、大小和标签，类型分别为字符串、浮点数序列、字符串、字符串、字符串、字符串、浮点数和字符串
• Attributes_ViT_L_14_descriptors_text_davinci_003_full：字符串序列
• Attributes_LAION_ViT_H_14_2B_descriptors_text_davinci_003_full：字符串序列
• clip_tags_ViT_L_14_with_openai：字符串序列
• clip_tags_LAION_ViT_H_14_2B_with_openai：字符串序列
• blip_caption_topk_50_Salesforce_blip_image_captioning_large_multiple：字符串序列
• DETA_detections_deta_swin_large_o365_coco_classes_caption_all_patches_Salesforce_blip_image_captioning_large_：列表，包含属性、框、captions_all_patches、标签、位置、比率、大小和标签，类型分别为字符串、浮点数序列、字符串、字符串、字符串、浮点数和字符串
• blip_caption_beam_5_Salesforce_blip_image_captioning_large：字符串
• clip_tags_LAION_ViT_H_14_2B_with_openai_wordnet：字符串序列
• blip_caption_5_Salesforce_blip_image_captioning_large_hf：字符串
• blip_caption_5_Salesforce_blip_image_captioning_large_hf_a meme of：字符串
• blip_caption_5_Salesforce_blip_image_captioning_large_max_length_30_hf：字符串
• blip_caption_5_Salesforce_blip_image_captioning_large_max_length_200_hf：字符串
• blip_caption_5_Salesforce_blip_image_captioning_large_max_length_200_hf_a meme of：字符串
• blip_caption_False_beams_5_Salesforce_blip_image_captioning_large_max_length_30_hf：字符串
• blip_caption_beam_False_5_source：字符串
• blip_caption_False_beams_5_base_capfilt_large_max_length_30_source_a pitcure of：字符串
• blip_caption_False_beams_5_base_capfilt_large_max_length_100_source_a pitcure of：字符串
• clip_tags_LAION_ViT_H_14_2B_simple_specific：字符串
• clip_tags_ViT_L_14_simple_specific：字符串
• clip_tags_LAION_ViT_H_14_2B_laion.pt：字符串序列

数据集拆分

• test：测试集，包含1000个示例，数据大小为421626763字节

数据集大小

• 下载大小：387589337字节
• 数据集大小：421626763字节

搜集汇总

数据集介绍

构建方式

在社交媒体生态中，仇恨性模因（hateful memes）的自动检测是维护网络文明的重要课题。Multimodal-Fatima/Hatefulmemes_test 数据集作为该领域的关键基准，其构建过程融合了多模态信息与先进的人工智能技术。该数据集包含1000个测试样本，每个样本由图像和文本组成，并标注了是否属于仇恨性内容。为丰富数据表征，研究者引入了来自多种预训练模型（如CLIP、BLIP、DETA）的自动生成标注，包括图像描述、视觉属性、目标检测结果及大语言模型生成的语义描述。这些多源标注通过不同模型配置（如束搜索大小、最大生成长度）生成，形成了涵盖视觉与语言维度的丰富特征集合，为仇恨性模因的细粒度分析提供了坚实的数据基础。

特点

该数据集的核心特点在于其多模态、多层次的标注体系。除了基础的图像-文本对与二元仇恨标签外，每个样本还附带了来自CLIP ViT-L/14和LAION ViT-H/14等模型的标签序列、BLIP模型生成的多种变体描述、以及DETA目标检测器输出的结构化检测结果（包括属性、边界框、位置、尺寸等）。特别地，大语言模型（如GPT-3）被用于生成下游任务描述和视觉基因组描述，进一步增强了语义深度。这种多模型、多配置的标注策略不仅提升了数据集的维度丰富性，还使得研究者能够探索不同视觉-语言模型在仇恨性模因检测中的互补性，为模型鲁棒性评估提供了独特视角。

使用方法

使用本数据集时，研究者可直接加载图像和文本字段作为多模态输入，以标签字段作为分类目标进行模型训练或评估。丰富的预计算标注（如clip_tags、blip_caption、DETA_detections等）可用于特征增强、跨模态对齐研究或作为辅助监督信号。例如，可结合CLIP标签与BLIP描述构建视觉-语言联合嵌入，或利用DETA检测结果进行区域级细粒度分析。数据集已按标准格式划分测试集（1000例），支持直接用于基准测试。建议在使用前参考HuggingFace数据集加载文档，通过`load_dataset`函数便捷获取，并依据具体任务选择所需字段进行下游处理。

背景与挑战

背景概述

社交媒体中恶意模因（hateful memes）的泛滥已成为网络空间治理的重大挑战。此类内容通过图像与文本的协同作用传播仇恨言论，其多模态特性使得传统基于单一模态的检测方法难以奏效。Multimodal-Fatima/Hatefulmemes_test数据集应运而生，它由多模态研究团队构建，聚焦于模因中隐含的仇恨意图识别。该数据集不仅包含了图像、文本及二分类标签，还引入了CLIP、BLIP等多种预训练模型生成的丰富特征，如视觉标签、描述性文本和目标检测结果，旨在推动多模态理解与仇恨内容检测的交叉研究。作为测试集，它为评估模型在真实场景下的泛化能力提供了标准化基准，对社交媒体内容审核领域具有深远影响。

当前挑战

该数据集所解决的领域挑战在于多模态仇恨检测的复杂性：模因中的仇恨信息常通过图像与文本的微妙交互呈现，存在隐喻、讽刺和跨文化语境依赖，传统模型难以捕捉其隐含语义。构建过程中面临的挑战包括：数据标注的主观性，同一模因可能因文化背景或个人认知被不同标注者判定为仇恨或非仇恨；多模态特征融合的难度，需协调来自不同预训练模型（如CLIP、BLIP、DETA）生成的异构特征，确保其语义一致性与互补性；此外，数据集的规模仅含1000个测试样本，有限的多样性可能难以覆盖现实世界中仇恨模因的广泛变体，对模型的鲁棒性提出更高要求。

常用场景

经典使用场景

在社交媒体内容审核与多模态语义理解的前沿领域，Hatefulmemes_test数据集为检测多模态仇恨言论提供了标准化的评估基准。该数据集精心收集了1000条图文结合的模因样本，每条样本均包含原始图像、文本描述以及人工标注的仇恨性标签，并附有丰富的辅助特征如CLIP标签、BLIP字幕、目标检测结果和大模型生成的描述信息。研究者可利用这一数据集训练和评测多模态分类模型，探索图像与文本之间的语义交互如何影响仇恨内容的识别，从而推动多模态学习在复杂社会情境中的应用。

实际应用

在实际应用中，Hatefulmemes_test数据集为社交媒体平台的内容安全系统提供了关键训练与测试资源。平台运营商可基于此数据集开发自动化的多模态过滤工具，实时识别并标记模因形式的仇恨言论，从而遏制网络暴力和歧视性内容的扩散。此外，该数据集还赋能数字取证与舆情分析领域，帮助监管机构高效筛查大规模图文传播中的违规信息，降低人工审核成本，提升网络空间治理的智能化水平。

衍生相关工作

围绕Hatefulmemes_test数据集，学术界涌现了一系列经典工作。研究者提出了基于跨模态注意力机制的融合模型，如VisualBERT与CLIP的变体架构，用于捕捉图文间的深层语义关联。同时，该数据集催生了多模态反事实解释、对抗性样本生成以及模型偏差矫正等方向的研究，推动了多模态学习在安全领域的前沿发展。此外，基于该数据集的大规模预训练模型微调策略，如Prompt Tuning与Adapter方法，也成为探索高效迁移学习的重要实验平台。