lmsys/toxic-chat

该数据集包含从Vicuna在线演示中收集的10K用户提示的毒性注释。我们采用了人机协作的注释框架，以确保注释质量的同时保持可行的注释工作量。数据集有两个版本：toxicchat0124和toxicchat1123，其中0124版本是基于1123版本进行了模型错误分析并修正了注释错误。我们相信ToxicChat可以成为推动用户与AI交互安全和健康环境进一步发展的宝贵资源。

This dataset contains toxicity annotations for 10K user prompts collected from the Vicuna online demo. We adopted a human-machine collaborative annotation framework to ensure annotation quality while maintaining a manageable annotation workload. The dataset has two versions: toxicchat0124 and toxicchat1123, where the 0124 version is revised based on the 1123 version through model error analysis and correction of annotation errors. We believe ToxicChat can serve as a valuable resource to advance the development of safe and healthy environments for human-AI interactions.

原始信息汇总

数据集概述

数据集名称

• 名称: ToxicChat

数据集版本

• 版本:
  • toxicchat0124: 更新于2024年1月，基于版本1123进行了模型错误分析和修正，增加了20个人工标注的例子。
  • toxicchat1123: 初始版本。

数据集大小

• 大小: 10K<n<100K

数据集特征

• 配置名称: toxicchat0124 和 toxicchat1123
• 特征:
  • conv_id: 数据类型为string
  • user_input: 数据类型为string
  • model_output: 数据类型为string
  • human_annotation: 数据类型为bool
  • toxicity: 数据类型为int64
  • jailbreaking: 数据类型为int64
  • openai_moderation: 数据类型为string

数据集文件

• 配置名称: toxicchat0124 和 toxicchat1123
• 文件:
  • 训练集: 路径分别为data/0124/toxic-chat_annotation_train.csv 和 data/1123/toxic-chat_annotation_train.csv
  • 测试集: 路径分别为data/0124/toxic-chat_annotation_test.csv 和 data/1123/toxic-chat_annotation_test.csv

数据集任务类别

• 任务类别: text-classification

数据集统计

• 版本: 1123 和 0124
• 统计:
  • 用户提示数量: 10,165
  • 人工标注数量: 5,634 (1123) 和 5,654 (0124)
  • 有毒示例百分比: 7.18% (1123) 和 7.33% (0124)
  • 越狱示例百分比: 1.78% (1123) 和 2.01% (0124)

模型信息

• 模型: T5-large
• 性能:
  • 精确度: 0.7983
  • 召回率: 0.8475
  • F1分数: 0.8221
  • AUPRC: 0.8850

许可证

• 许可证: CC-BY-NC-4.0

引用信息

@misc{lin2023toxicchat, title={ToxicChat: Unveiling Hidden Challenges of Toxicity Detection in Real-World User-AI Conversation}, author={Zi Lin and Zihan Wang and Yongqi Tong and Yangkun Wang and Yuxin Guo and Yujia Wang and Jingbo Shang}, year={2023}, eprint={2310.17389}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

lmsys/toxic-chat数据集的构建基于对Vicuna在线演示中收集的10K用户提示的毒性标注。该数据集采用人机协作标注框架，以确保标注质量的同时，维持标注工作负担在可行范围内。数据收集、预处理和标注的详细过程可在相关论文中找到。

特点

该数据集的主要特点在于其包含了经过严格标注的用户提示毒性数据，涵盖了毒性示例和越狱示例的百分比，并提供了基于时间戳的版本更新。数据集的构建旨在推动在用户-人工智能交互中建立安全和健康环境的进一步发展。

使用方法

使用该数据集时，可以通过指定版本号来加载相应的数据集，例如使用最新版本的数据集可以通过指定'toxicchat0124'版本来实现。同时，提供了经过微调的T5-large模型作为基线模型，以便进行性能比较。

背景与挑战

背景概述

在人工智能与用户互动日益频繁的背景下，构建安全健康的对话环境至关重要。为此，'lmsys/toxic-chat'数据集应运而生，该数据集由来自Vicuna在线演示的10K用户提示收集而成，旨在通过人机协作标注框架确保标注质量，同时保持标注工作负担的可行性。该数据集的创建可追溯至2023年，由Zi Lin等研究人员开发，核心研究问题聚焦于在真实世界用户与AI对话中检测毒性的隐含挑战，对构建安全对话系统领域产生了显著影响。

当前挑战

该数据集面临的挑战主要涉及两个方面：一是领域问题上的挑战，即如何有效识别和过滤对话中的毒性内容，保障用户交互的安全性；二是构建过程中的挑战，包括数据标注的一致性、准确性的保持，以及避免个人信息的泄露。具体而言，数据标注过程中的错误分析和修正，以及最新版本的更新，都是保证数据质量的重要环节。同时，数据集的安全性和合规定使用，也是使用者在应用时必须考虑的重要问题。

常用场景

经典使用场景

在自然语言处理领域中，构建安全的人工智能交互环境至关重要。lmsys/toxic-chat数据集为此提供了丰富的资源，其经典使用场景主要在于评估和训练对话系统对有毒内容的识别能力，确保人工智能在交互过程中能够识别并妥善处理不当言论。

解决学术问题

该数据集解决了传统毒性检测研究中存在的数据集规模有限、标注质量参差不齐的问题。通过采用人类与AI协作标注框架，lmsys/toxic-chat数据集在保证标注质量的同时，有效控制了标注的工作量，为学术研究提供了高质量的数据支持，促进了毒性检测算法的准确性和效率的提升。

衍生相关工作

基于lmsys/toxic-chat数据集，研究者们已经进行了一系列相关工作，包括但不限于开发新的毒性检测模型、提出更高效的标注方法以及探索人工智能在内容审核领域的应用边界，这些工作进一步拓展了数据集的应用范围，并推动了相关领域的发展。