MetaHarm

MetaHarm是一个包含60,906个YouTube视频的数据集，这些视频被系统地选为潜在的有害视频。另外，19,422个视频由领域专家、GPT-4-Turbo和众包工人进行了标注。标注数据集包括二元分类（有害与无害）和多标签分类的六个危害类别：信息、仇恨和骚扰、成瘾性、标题党、性和身体伤害。数据集提供了标注一致性数据，并分为由三个不同标注者单独标注的数据子集。这些数据集旨在促进未来对在线危害的研究，帮助进行多模态分类，并推动视频平台上有害内容的识别和潜在缓解。

MetaHarm is a dataset comprising 60,906 YouTube videos systematically selected as potentially harmful content. In addition, 19,422 of these videos were annotated by domain experts, GPT-4-Turbo, and crowdworkers. The annotated dataset includes two annotation tasks: binary classification (harmful vs. harmless) and multi-label classification across six harm categories: misinformation, hate speech and harassment, addictive content, clickbait, sexual harm and physical harm. The dataset provides annotation agreement data and is split into subsets annotated by three distinct individual annotators. This dataset aims to facilitate future research on online harm, support multimodal classification tasks, and advance the identification and potential mitigation of harmful content on video platforms.

搜集汇总

数据集介绍

构建方式

MetaHarm数据集通过多模态、多类别的标注方法构建，涵盖了60,906个潜在有害的YouTube视频，其中19,422个视频由领域专家、GPT-4-Turbo和众包工作者共同标注。数据收集采用了三种方法：基于关键词的搜索、基于频道的筛选以及外部数据集的整合。关键词搜索使用了169个与六类有害内容相关的查询词，结合YouTube数据API获取视频元数据和字幕。此外，还从已知传播有害内容的49个YouTube频道中提取视频，并整合了来自外部数据集的视频以补充信息危害和仇恨与骚扰危害类别。每个视频还提取了15个图像帧和1个缩略图，以支持多模态分析。

特点

MetaHarm数据集的特点在于其多模态和多类别的标注框架。它不仅提供了二分类（有害vs无害）标注，还细分为六类具体危害：信息危害、仇恨与骚扰危害、成瘾性危害、点击诱饵危害、性危害和身体危害。数据集的标注由三种不同的标注者完成，包括经过训练的领域专家、GPT-4-Turbo模型和众包工作者，确保了标注的多样性和可靠性。此外，数据集还提供了基于多数一致和完全一致的标注子集，可作为基准数据用于模型训练和评估。这种多源标注和多类别分类的设计使其成为研究在线有害内容检测的理想资源。

使用方法

MetaHarm数据集可用于多种研究目的，尤其是在线有害内容的检测与分类。研究者可以利用其多模态特性（文本、图像和视频元数据）开发多模态分类模型，以识别和分类有害视频。数据集提供的标注子集（如完全一致标注或多数一致标注）可用于模型训练和验证，而不同标注者的标注差异可用于研究标注偏差或模型性能比较。此外，数据集还可用于研究不同平台上有害内容的分布特征，或评估内容审核算法的效果。使用时需注意数据集的伦理限制，避免用于非研究目的的内容复制或传播。

背景与挑战

背景概述

MetaHarm数据集由加州大学戴维斯分校的Wonjeong Jo和华沙大学的Magdalena Wojcieszak团队于2024年创建，旨在解决短视频平台中有害内容检测的标准化难题。作为首个融合多模态（图像帧、缩略图、文本元数据）与多类别（信息危害、仇恨骚扰、成瘾性、标题党、性相关、身体伤害）标注的大规模YouTube视频数据集，其19,422条专家标注样本为计算社会科学领域提供了关键基准。该数据集通过整合关键词检索、频道特征分析和外部数据源三种方法论，突破了传统文本型危害检测的局限，为算法推荐系统的伦理审计和跨平台危害比较研究奠定了数据基础。

当前挑战

构建MetaHarm面临双重挑战：在领域问题层面，短视频多模态特性导致传统基于文本的检测方法失效，且六类危害的模糊边界加剧了标注一致性难题（专家间Kappa系数仅0.76）；在构建过程中，YouTube内容动态删除机制造成样本流失（约1.7%视频因平台下架无法获取），而大语言模型标注存在温度参数敏感性问题（GPT-4-Turbo三次API调用结果差异率达22%）。此外，众包标注者可靠性低下（Krippendorff's α=0.21）迫使研究团队采用多数表决机制，这可能导致少数派正确标注被系统性忽略。

常用场景

经典使用场景

MetaHarm数据集在社交媒体内容安全研究中具有重要价值，尤其是在YouTube等短视频平台上的有害内容检测与分析领域。该数据集通过整合多模态数据（包括视频元数据、图像帧和文本转录），为研究者提供了一个全面的基准，用于开发和评估有害内容分类算法。其经典使用场景包括训练机器学习模型以识别六类有害内容（如虚假信息、仇恨言论、成瘾性内容等），以及比较不同标注方法（专家标注、GPT-4-Turbo标注和众包标注）的效能差异。

解决学术问题

MetaHarm数据集解决了社交媒体研究中三个关键学术问题：一是缺乏跨平台统一的有害内容定义与标注标准，其基于学术研究和平台准则构建的六维分类体系为可比研究提供了框架；二是弥补了传统文本主导的检测方法对多模态视频内容的适应性不足，通过15帧图像+缩略图+文本的多元数据支持多模态分类模型开发；三是通过提供专家、AI和众包的交叉标注结果，为标注者偏差研究和自动化标注工具优化提供了实证基础。这些贡献显著推进了在线内容安全领域的测量方法论发展。

衍生相关工作

MetaHarm已衍生出多个方向的研究：在算法领域，有团队基于其开发了融合视觉-文本特征的Hierarchical HarmNet分层检测模型；在社会科学中，研究者利用标注差异分析了文化背景对内容危害认知的影响。数据集构建方法启发了类似项目如TikToks的ViolenceCheck项目，而其多标注者范式被AdaptiveModeration框架采用以优化众包审核系统。部分工作还探索了用其训练的小型化模型在边缘设备部署的可能性，推动实时内容过滤技术的发展。