kejian/pile-severetoxic-balanced2

本数据集由两部分组成：一半是从Pile chunk-0中筛选出的100k最毒文档，另一半是从Pile chunk-3随机抽取的100k文档。这些文档根据Perspective API的SEVERE-TOXICITY评分进行筛选，并通过洗牌后进行了9:1的训练-测试分割。数据集的平均毒性评分为0.308，加权平均毒性评分为0.337，毒性评分与文档长度之间的相关性为0.099。

# 数据集卡片（Dataset Card）：[kejian/pile-severetoxic-balanced2]

## 数据集构建流程

本数据集基于Pile数据集的文档构建，使用Perspective API对文档进行严重毒性（SEVERE-TOXICITY）评分。具体构建流程如下：
- 本数据集的前半部分取自kejian/pile-severetoxic-chunk-0，即Pile数据集chunk-0中毒性评分最高的10万份文档
- 本数据集的后半部分取自kejian/pile-severetoxic-random100k，即从Pile数据集chunk-3中随机采样的10万份文档
- 随后对该数据集进行洗牌，并按照9:1的比例划分为训练集与测试集

## 基础统计信息

毒性最高的子集与随机采样子集的平均评分分别为0.555与0.061。本数据集整体的平均评分为0.308，中位数为0.385。


按文档长度加权后的平均评分为0.337，评分与文档长度之间的相关系数为0.099。

原始信息汇总

数据集概述

数据集名称

[kejian/pile-severetoxic-balanced2]

数据集构建过程

• 来源: 数据集由Pile数据集中的文档构成，使用Perspective API的SEVERE-TOXICITY评分进行筛选。
• 组成:
  • 前半部分: 来自kejian/pile-severetoxic-chunk-0，包含Pile chunk-0中最毒的100,000个文档。
  • 后半部分: 来自kejian/pile-severetoxic-random100k，包含从Pile chunk-3随机抽取的100,000个文档。
• 处理: 数据集经过洗牌处理，并进行了9:1的训练集与测试集分割。

基本统计信息

• 平均分:
  • 最毒部分: 平均分为0.555。
  • 随机部分: 平均分为0.061。
  • 整体: 平均分为0.308，中位数为0.385。
• 加权平均分: 加权平均分为0.337（权重基于文档长度）。
• 相关性: 评分与文档长度的相关性为0.099。