SG-CONTEXT MEMES

本研究团队收集和整理了一个包含112277个样本的SG-CONTEXT MEMES数据集，该数据集包含了来自全球和新加坡本地的上下文相关表情包。数据集旨在帮助VLM模型学会分类具有攻击性和不安全社交媒介的表情包。每个样本包括表情包的图像和文本描述，以及一个表明表情包是否具有攻击性的二进制标签。

Our research team collected and curated the SG-CONTEXT MEMES dataset, which contains 112,277 samples. This dataset includes contextually relevant memes from both global and local Singaporean sources. The dataset is designed to assist Vision-Language Models (VLMs) in learning to classify offensive and unsafe social media memes. Each sample consists of the meme's image, textual description, and a binary label that specifies whether the meme is offensive.

搜集汇总

数据集介绍

构建方式

SG-CONTEXT MEMES 数据集的构建旨在应对新加坡多元文化社会中的有害内容检测挑战。该数据集由 112K 个表情包组成，这些表情包由 GPT-4V 标记，用于微调视觉语言模型（VLM），以分类新加坡语境中的冒犯性表情包。数据集的构建包括从互联网上收集大量表情包，并对这些表情包进行过滤和标注。为了训练模型对新加坡语境的理解，数据集还包括 715 个新加坡相关的多模态维基百科语料库。每个样本都包含表情包的图像、文本描述和二元标签，指示表情包是否具有冒犯性。

特点

SG-CONTEXT MEMES 数据集具有几个显著特点。首先，它是为新加坡语境量身定制的，包括大量本地化和最新的表情包。其次，数据集包括来自全球语境的数据集和新加坡语境的表情包，以确保模型能够理解各种文化背景下的表情包。此外，数据集还包括多模态维基百科语料库，以帮助模型学习更多本地化和最新的知识。最后，数据集使用 GPT-4V 进行标注，以确保标注的准确性和一致性。

使用方法

使用 SG-CONTEXT MEMES 数据集进行有害内容检测的步骤如下：首先，使用光学字符识别（OCR）技术提取表情包中的文本。然后，将文本翻译成英语，以便使用大型语言模型进行理解和分类。最后，使用视觉语言模型（VLM）对表情包进行分类，以确定其是否具有冒犯性。数据集、代码和模型权重将在 https://github.com/aliencaocao/vlm-for-memes-aisg 开源。

背景与挑战

背景概述

在当代数字环境中，有害内容的泛滥，尤其是仇恨言论，对社会的凝聚力和社区关系构成了重大威胁。随着多媒体和图片分享平台的兴起，有害内容的传播媒介变得更加多样化。例如，表情包，一种由图片和文字组成的复合体，旨在传达特定的信息，已经成为一种普遍现象。传统的自动内容检测系统主要是单模态的，现在面临着适应这些新的、复杂的媒介的挑战。这一问题在Meta的Hateful Memes Challenge中被强调，该挑战强调了对能够解码和缓解多模态表情包中有害内容的先进系统的迫切需求。建立一个安全、无仇恨、无偏见、无歧视的在线环境对于确保一个国家的持续社会稳定至关重要。这对于新加坡这样一个种族和宗教构成多样化的国家来说尤其如此。保持这种多元文化的和谐对于确保国家的持续社会稳定至关重要。如果没有适当地进行审查，关于社会经济流动性、移民、就业和LGBTQ+等敏感话题的有害在线内容可能会加剧有害在线内容的传播，破坏治理，并对社区和个人产生不利影响。新加坡独特的文化多样性和语言多样性对现有解决方案构成了巨大挑战，这些解决方案是为单语内容和西方文化量身定制的。东南亚语言数据的低资源性质使得收集和训练此类审查系统变得困难。

当前挑战

检测有害的表情包是一项具有挑战性的任务，因为这些表情包高度依赖于对社会和语言的本地化语境理解。大多数现有的多模态模型都是在以西方语境为主要训练数据的情况下开发的。虽然某些歧视性表达是全球公认的，但理解地方色彩和俚语对于有效地识别和解决有害内容是必不可少的。例如，“新加坡式英语”是新加坡风味的英语的别称。它是一种混合了英语、马来语和泰米尔语元素的克里奥尔语。“新加坡式英语”对于LLM来说很复杂，并且在其预训练语料库中很少见。一些“新加坡式英语”中的短语具有特定的文化含义，可能会被对新加坡社会不够熟悉的AI系统误解。这种困难不仅限于语言，还包括独特的本地规范、幽默和引用，所有这些都是有效地识别和解决有害内容的关键。此外，现有的单模态内容审查系统在处理现代多模态沟通手段（如表情包）时面临挑战，这些手段具有高度微妙的和信息密集的特点。在文化多样性的社会中，如新加坡，由于使用低资源语言，并且需要广泛的本地语境知识来解释在线内容，这项任务尤其困难。为了解决这个问题，研究人员收集、过滤和注释了一个包含112,277个多模态训练样本的指令微调数据集，用于微调VLM以分类新加坡语境中的冒犯性表情包。他们展示了微调VLM在数据集上的有效性，并提出了一条包含OCR、翻译和70亿参数类VLM的管道。解决方案在保留的测试集上达到了80.62%的准确率和0.8192 AUROC，可以极大地帮助人类审查在线内容。该数据集、代码和模型权重将在https://github.com/aliencaocao/vlm-for-memes-aisg开源。

常用场景

经典使用场景

SG-CONTEXT MEMES数据集主要应用于检测具有社会偏见的冒犯性表情包。该数据集包含了112K个由GPT-4V标注的表情包，用于微调视觉语言模型（VLM）以在新加坡语境下分类冒犯性表情包。研究者们展示了微调后的VLM在数据集上的有效性，并提出了一种包含OCR、翻译和7亿参数类VLM的流水线。该解决方案在保留的测试集上达到了80.62%的准确率和0.8192 AUROC，可以极大地帮助人类在内容审查中发挥作用。

解决学术问题

SG-CONTEXT MEMES数据集解决了在多模态内容审查中，特别是在文化多样性强的社会如新加坡，自动内容审查系统难以分类现代多模态通信方式，如表情包的问题。该数据集通过包含全球语境的表情包和新加坡语境的表情包，以及与新加坡相关的多模态维基百科语料库，旨在教导VLM如何分类社交媒体上的冒犯性和不安全表情包。每个样本都包含一个表情包图像，用于VLM推理的文本描述，以及一个二进制标签，表明表情包是否具有冒犯性。该数据集的开放和开源有助于提高多模态内容审查的研究，并为低资源语言的东南亚地区提供了宝贵的本地化资源。

衍生相关工作

SG-CONTEXT MEMES数据集的发布衍生了多项相关工作。研究者们使用该数据集训练和评估了两个具有代表性的视觉语言模型（VLMs），即LLaVA-NeXT Mistral 7B和Qwen2-VL 7B，并探讨了在任务中添加OCR和翻译组件的必要性。此外，研究者们还比较了LLaVA和Qwen2-VL的性能，并展示了微调后的VLM在内容审查中的有效性。这些相关工作为多模态内容审查的研究提供了有价值的参考和启示。