walledai/openai-moderation-dataset

--- license: mit --- # Evaluation dataset for the paper "A Holistic Approach to Undesired Content Detection" The evaluation dataset is the test set used in [this paper](https://arxiv.org/abs/2208.03274). Each line contains information about one sample in a JSON object and each sample is labeled according to our taxonomy. The category label is a binary flag, but if it does not include in the JSON, it means we do not know the label. | Category | Label | Definition | | -------- | ----- | ---------- | | sexual | `S` | Content meant to arouse sexual excitement, such as the description of sexual activity, or that promotes sexual services (excluding sex education and wellness). | | hate | `H` | Content that expresses, incites, or promotes hate based on race, gender, ethnicity, religion, nationality, sexual orientation, disability status, or caste. | | violence | `V` | Content that promotes or glorifies violence or celebrates the suffering or humiliation of others. | | harassment | `HR` | Content that may be used to torment or annoy individuals in real life, or make harassment more likely to occur. | | self-harm | `SH` | Content that promotes, encourages, or depicts acts of self-harm, such as suicide, cutting, and eating disorders. | | sexual/minors | `S3` | Sexual content that includes an individual who is under 18 years old. | | hate/threatening | `H2` | Hateful content that also includes violence or serious harm towards the targeted group. | | violence/graphic | `V2` | Violent content that depicts death, violence, or serious physical injury in extreme graphic detail. | Parsed from the GitHub repo: https://github.com/openai/moderation-api-releaseAn evaluation test set for the paper A Holistic Approach to Undesired Content Detection, containing labeled samples across categories such as sexual content, hate content, violence, harassment, self-harm, sexual content involving minors, hate content with threats, and graphically detailed violent content.

搜集汇总

数据集介绍

构建方式

该数据集源自论文《A Holistic Approach to Undesired Content Detection》中所使用的测试集，旨在为不当内容检测提供标准化的评估基准。数据集的构建基于一份详尽的分类体系，涵盖性内容、仇恨言论、暴力、骚扰、自残、涉及未成年人的性内容、威胁性仇恨以及极端暴力等八大类别。每个样本以JSON对象形式呈现，包含对应的类别标签，标签为二进制标志，缺失则代表标签未知。数据来源自OpenAI的Moderation API发布仓库，确保了其权威性与可靠性。

特点

该数据集的核心特点在于其多维度的分类体系，能够全面覆盖现实世界中各类不当内容。每个样本被精确标注至具体类别，如性内容(S)、仇恨(H)、暴力(V)等，且类别定义清晰明确，例如‘性内容’特指旨在唤起性兴奋的描述，而‘仇恨’则涵盖基于种族、性别等特征的攻击性表达。此外，数据集支持细粒度区分，如‘暴力/极端暴力’与‘仇恨/威胁性仇恨’，为模型性能的深度评估提供了可能。这种结构化标签设计，使得研究者能够针对特定风险领域进行针对性优化。

使用方法

使用该数据集时，研究者可直接加载JSON格式的样本，通过解析每个对象中的类别标签进行模型训练或评估。建议将数据划分为训练集、验证集和测试集，以验证模型在不同类别上的泛化能力。对于二进制标签，可直接使用交叉熵损失函数进行监督学习；若需处理缺失标签，可采用半监督或忽略策略。同时，可结合分类体系中的定义，设计多标签分类任务，以评估模型对多种不当内容的联合检测能力。数据集已开源在HuggingFace平台，可通过`walledai/openai-moderation-dataset`直接调用。

背景与挑战

背景概述

在大型语言模型日益普及的背景下，如何有效检测并过滤不当内容成为人工智能安全领域的核心议题。由OpenAI研究团队于2022年发布的开源审核数据集（walledai/openai-moderation-dataset），源自其论文《A Holistic Approach to Undesired Content Detection》，旨在系统性地解决内容审核中的分类难题。该数据集精心构建了一个包含性、仇恨言论、暴力、骚扰、自残及针对未成年人的性内容等八大类别的细粒度分类体系，为模型训练提供了高精度标注的测试基准。作为OpenAI审核API的评估基石，该数据集不仅推动了多类别敏感内容的自动识别技术发展，更成为学术界与工业界验证内容安全模型性能的重要参照。

当前挑战

该数据集所应对的核心挑战在于内容审核的复杂性与多样性。首先，不当内容常以隐晦、反讽或文化依赖的形式呈现，使得模型难以从表面语义中捕捉真实意图，例如仇恨言论与正常批评的边界模糊。其次，构建过程中面临标注一致性难题——不同标注者对“性暗示”或“暴力美化”等主观概念的理解差异，导致标签噪声难以完全消除。此外，类别间的重叠性（如“仇恨/威胁”与“暴力”的交叉）要求分类体系具备高度辨析力，而数据集的静态标注无法覆盖实时演变的网络用语与新兴攻击模式，加剧了模型泛化能力的挑战。

常用场景

经典使用场景

在内容安全与有害信息检测领域，OpenAI Moderation Dataset 作为一项基准评测资源，被广泛用于训练和评估多类别不当内容分类模型。该数据集基于细粒度分类体系，涵盖性暗示、仇恨言论、暴力、骚扰、自残、涉及未成年人的性内容、威胁性仇恨言论及极端暴力等八个维度，为研究者提供了标准化的测试集。其经典使用场景包括对比不同预训练语言模型（如BERT、RoBERTa、GPT系列）在有害内容识别上的性能，以及验证对抗性攻击下分类器的鲁棒性。通过该数据集，学界能够系统性地衡量模型在区分微妙边界（如合法言论与仇恨言论）时的表现，从而推动内容审核技术的精细化发展。

衍生相关工作

该数据集衍生出多项经典工作，包括OpenAI基于此提出的分层审核策略（Holistic Moderation），通过级联分类器优先处理高置信度有害样本以降低延迟。后续研究如《Red Teaming Language Models》利用该数据集构建对抗性测试用例，暴露语言模型在边缘案例上的脆弱性。此外，该数据集催生了多语言扩展版本（如Multilingual Moderation Benchmark），探究非英语语境下分类偏差的成因。在模型层面，它被用于训练轻量级审核专用模型（如Toxicity-Classifier），参数量仅为通用模型的1/10却保持90%以上准确率。这些工作共同推动了从单一文本分类向多模态、可解释性审核系统的演进。

数据集最近研究

最新研究方向

在当前人工智能内容安全治理的前沿领域，OpenAI Moderation Dataset 的发布标志着从单一维度向多粒度、层次化有害内容检测范式的关键转变。该数据集基于《A Holistic Approach to Undesired Content Detection》论文构建，其精细的分类体系涵盖了性、仇恨、暴力、骚扰、自残及针对未成年人的性内容等八类风险标签，并特别引入了威胁性仇恨与极端暴力等子类别。这一设计不仅呼应了全球社交平台对内容审核精细化的迫切需求，更推动了模型从简单二分类向上下文敏感、多标签联合判定的研究方向演进。该数据集的开放许可与GitHub开源实践，为学术界和工业界构建更鲁棒、更少偏见的内容安全系统提供了标准化基准，其影响已延伸至大模型部署中的伦理合规与风险缓释策略，成为当前AI安全研究不可或缺的测试基石。