mteb/toxic_conversations_50k

这是Jigsaw Unintended Bias in Toxicity Classification数据集的一个版本，包含来自Civil Comments平台的评论，并标注了评论是否具有毒性。数据集仅包含前50,000个训练样本，每个样本由10个注释者进行标注，且当目标值大于等于0.5时，评论被标记为有毒。数据集不平衡，只有约8%的评论被标记为有毒。

原始信息汇总

数据集概述

数据集名称

Toxic Conversation

数据集来源

本数据集是Jigsaw Unintended Bias in Toxicity Classification dataset的一个版本。

数据内容

数据集包含来自Civil Comments平台的评论，以及这些评论是否被标记为有毒的注释。

数据集规模

本数据集仅包含前50,000个训练样本。

注释方式

每个样本由10名注释者进行标注，并根据任务页面的推荐，当目标值大于等于0.5时，将评论标记为有毒。

数据集平衡性

数据集是不平衡的，其中约8%的评论被标记为有毒。