tomekkorbak/pile-toxicity-balanced

该数据集是通过使用Perspective API对来自the Pile的文档进行毒性评分构建的。构建过程包括：对the Pile的3%（700万文档）进行评分，选取评分最高的10万文档和评分最低的10万文档，然后进行9:1的训练-测试分割。数据集的基本统计信息包括平均评分、中位数评分、加权平均评分以及评分与文档长度的相关性。此外，还提供了每个Pile子集的平均评分和文档长度。

This dataset is constructed by performing toxicity scoring on documents from The Pile using the Perspective API. The construction process involves: scoring 3% of The Pile (7 million documents), selecting the top 100,000 highest-scoring documents and the bottom 100,000 lowest-scoring documents, followed by a 9:1 train-test split. Basic statistical information of the dataset includes average score, median score, weighted average score, and the correlation between scores and document lengths. In addition, the average scores and document lengths for each subset of The Pile are also provided.

原始信息汇总

数据集概述

数据集构建过程

• 数据集由the Pile中的文档构建，使用Perspective API进行毒性评分。
• 选取了the Pile的3%（约700万文档）进行评分。
• 分为两个子集：
  • tomekkorbak/pile-toxic-chunk-0：包含10万份最高毒性文档。
  • tomekkorbak/pile-nontoxic-chunk-0：包含10万份最低毒性文档。
• 数据集经过洗牌后，进行了9:1的训练-测试分割。

基本统计数据

• 高毒性子集的平均分为0.67，低毒性子集的平均分为0.0014。
• 整个数据集的平均分为0.33，中位数为0.51。
• 加权平均分（按文档长度加权）为0.45，毒性评分与文档长度的相关系数为0.2。

各子集的平均分

pile_set_name	score	length
ArXiv	0.141808	9963.82
Books3	0.405541	8911.67
DM Mathematics	0.535474	8194
Enron Emails	0.541136	1406.76
EuroParl	0.373395	4984.36
FreeLaw	0.279582	8986.73
Github	0.495742	2184.86
Gutenberg (PG-19)	0.583263	4034
HackerNews	0.617917	3714.83
NIH ExPorter	0.0376628	1278.83
OpenSubtitles	0.674261	14881.1
OpenWebText2	0.613273	2634.41
PhilPapers	0.549582	9693
Pile-CC	0.525136	2925.7
PubMed Abstracts	0.0388705	1282.29
PubMed Central	0.235012	7418.34
StackExchange	0.590904	2210.16
USPTO Backgrounds	0.0100077	2086.39
Ubuntu IRC	0.598423	4396.67
Wikipedia (en)	0.0136901	1515.89
YoutubeSubtitles	0.65201	4729.52