onetimetwo/toxic-chat

该数据集包含从Vicuna在线演示收集的10K用户提示的毒性标注。采用人机协作标注框架确保标注质量，同时保持可行的标注工作量。数据集包含两个版本(toxicchat0124和toxicchat1123)，最新版本0124修正了之前版本的标注错误并增加了额外标注样本。数据集可用于训练和评估毒性检测模型，促进构建安全健康的用户-AI交互环境。

This dataset contains toxicity annotations on 10K user prompts collected from the Vicuna online demo. It utilizes a human-AI collaborative annotation framework to guarantee the quality of annotation while maintaining a feasible annotation workload. There are two versions (toxicchat0124 and toxicchat1123), with the latest version 0124 fixing annotation errors from the previous version and adding additional annotated samples. The dataset can be used to train and evaluate toxicity detection models, promoting advancements toward building a safe and healthy environment for user-AI interactions.

搜集汇总

数据集介绍

构建方式

ToxicChat数据集源自Vicuna在线演示平台收集的万余条用户提示，通过一种人机协作标注框架来保证标注质量。在数据采集后，研究团队对原始内容进行预处理以移除潜在的个人信息，随后利用该框架结合人类与AI的判断，对用户输入和模型输出进行精细化的毒性标注。数据集包含两个版本，其中toxicchat0124在toxicchat1123的基础上进行了模型错误分析，并由两名标注员共同核查修正了部分标签，最终增加了20条额外的人工标注样本。

使用方法

ToxicChat支持通过HuggingFace datasets库便捷调用，用户可指定版本（如toxicchat0124）来加载训练集和测试集。推荐使用最新版本进行模型训练与评估，并在横向比较不同模型时保持数据版本统一。数据集的典型应用包括训练文本分类模型以检测用户输入或模型输出中的毒性内容，其预训练好的T5-Large基线模型可供直接对比，评估指标涵盖精确率、召回率、F1分数及AUPRC等。

背景与挑战

背景概述

ToxicChat数据集由来自Vicuna在线演示的用户提示构成，于2023年由林梓、王梓涵等研究人员联合发布，旨在解决真实场景下用户与AI对话中毒性检测的挑战。该数据集包含超过10,000条用户提示，其中约7%被标记为有毒内容，并采用人机协作的标注框架以确保高质量注释。作为对话安全领域的重要资源，ToxicChat为构建健康的人机交互环境提供了基准数据，并推动了毒性检测模型（如T5-Large）的优化与评估。

当前挑战

该数据集面临的核心挑战包括：1) 真实对话中毒性内容的多样性与隐蔽性，例如越狱提示（占比2%）的检测难度，亟需模型能够识别微妙或上下文相关的有害表达；2) 数据构建过程中标注质量控制，需协调人类与AI注释以减少偏差，例如通过错误分析修正了1.28%的毒性标签差异；3) 隐私与伦理风险，尽管已脱敏，仍可能在对话中残留个人信息，需确保合规使用并防止重新识别个体身份。

常用场景

经典使用场景

ToxicChat数据集聚焦于真实用户与AI系统（如Vicuna在线演示）交互过程中产生的对话内容，其经典使用场景在于训练和评估文本分类模型，以自动识别用户输入中的有害、冒犯或违规内容。借助该数据集，研究者可以构建能够精准检测语言暴力、仇恨言论、性骚扰及越狱攻击倾向的智能过滤器，从而为对话系统配备有效的安全防护机制。数据集收录了超过一万条用户提示，并经由人类与AI协作的标注框架对每条信息进行了严格的有毒性和越狱性判定，具备高度的标注准确性和生态效度。这使得ToxicChat成为开发鲁棒内容审核模型、推动人机交互安全边界拓展的核心资源之一。

解决学术问题

在学术研究层面，ToxicChat解决了真实场景下毒性检测面临的若干关键难题。首先，它填补了现有毒性数据集多基于人工编造或封闭领域对话的空白，提供了来自开放式用户交互的自然样本，从而使得模型的评估更贴近实际部署环境。其次，数据集揭示了传统检测工具（如OpenAI Moderation API）在应对真实用户语言变体时存在的高误报率和低召回率问题，为研究者提供了前所未有的对照基准。此外，通过附带越狱性标注，ToxicChat促进了对对抗性提示攻击的系统性研究，助力学术界深入理解对话系统中安全漏洞的成因与演化规律，进而催生更敏锐、更具解释力的毒性判别范式。

实际应用

在实际应用层面，ToxicChat可被广泛应用于构建工业级对话安全系统。例如，社媒平台、智能客服、教育机器人及在线游戏中的聊天功能均可基于该数据集训练的内容过滤器，实时屏蔽仇恨言论、骚扰信息或诱导模型输出违规内容的不良请求。利用ToxicChat所训练的T5-Large模型，企业能够显著降低人工审核成本，同时提升对极端言论的提前预警能力。此外，面向大语言模型的应用开发团队亦可借助该数据集进行红队测试（Red Team），系统性评估自家模型面对恶意提示时的防御韧性，从而在产品上线前构建更强有力的安全护栏。

数据集最近研究

最新研究方向

围绕ToxicChat数据集，当前前沿研究方向聚焦于真实用户-人工智能对话场景下的毒性检测与越狱行为识别。随着大语言模型在开放域对话系统中的广泛应用，如何在保证交互自然性的同时精准捕捉用户输入中的隐性攻击、歧视性言论或诱导模型生成有害内容的行为，已成为AI安全领域的核心挑战。ToxicChat通过引入人类与AI协同标注框架，并结合OpenAI审核模型的多轮迭代标注，构建了针对真实聊天记录的高质量毒性样本库。最新的0124版本不仅修正了前版标注误差，还增加了标注数量，使越狱样本比例提升至2.01%，直接回应了模型安全性研究中对抗性输入检测的紧迫需求。该数据集通过发布T5-Large基线模型，为社区提供了可复现的评估基准，尤其推动了基于多模态审核与上下文感知的毒性过滤系统的演进，在构建可信AI交互环境方面具有里程碑式意义。