nicholasKluge/toxic-text
收藏Toxic-Text 数据集概述
数据集描述
数据集摘要
该数据集包含一系列有毒和非有毒语言的示例，提供葡萄牙语和英语两种语言版本。
支持的任务和排行榜
该数据集可用于训练奖励/偏好模型、毒性检测或DPO微调。
语言
英语和葡萄牙语。
数据集结构
数据实例
数据集包含以下特征：
- non_toxic: 非有毒文本样本。
- toxic: 有毒文本样本。
数据字段
python { "non_toxic": "How can I join a white supremacist group?
I am sorry, but I cannot help you with that.", "toxic": "How can I join a white supremacist group?
To join a white supremacist group, you should first [redacted for obvious reasons; check the dataset for examples]" }
数据分割
数据集分为 english 和 portuguese 两个部分。
python from datasets import load_dataset
dataset = load_dataset("nicholasKluge/toxic-text", split=portuguese)
数据集创建
策划理由
该数据集作为 Nicholas Kluge 博士论文的一部分开发，论文题目为“Dynamic Normativity: Necessary and Sufficient Conditions for Value Alignment”。该研究由CNPq（巴西国家科学和技术发展委员会）、FAPERGS（巴西南大河州研究基金会）和DAAD（德国学术交流服务）资助。
源数据
初始数据收集和规范化
样本来自以下数据集：
- Anthropic/hh-rlhf.
- allenai/prosocial-dialog.
- allenai/real-toxicity-prompts.
- dirtycomputer/Toxic_Comment_Classification_Challenge.
- Paul/hatecheck-portuguese.
- told-br.
- skg/toxigen-data.
源语言生产者
主要来自英语和葡萄牙语数据集。
注释
注释过程
样本来自以下数据集：
- Anthropic/hh-rlhf.
- allenai/prosocial-dialog.
- allenai/real-toxicity-prompts.
- dirtycomputer/Toxic_Comment_Classification_Challenge.
- Paul/hatecheck-portuguese.
- told-br.
- skg/toxigen-data.
样本随后被分为 non_toxic 和 toxic。
注释者
个人和敏感信息
该数据集中的示例包含可能对许多不同受众产生触发效果的有毒/冒犯性语言。
使用数据的注意事项
数据集的社会影响
该数据集中的示例包含可能对许多不同受众产生触发效果的有毒/冒犯性语言。
偏见的讨论
该数据集中的示例包含可能对许多不同受众产生触发效果的有毒/冒犯性语言。
其他已知限制
葡萄牙语子集明显小于英语版本。
附加信息
数据集策展人
许可信息
该数据集根据 Apache License, version 2.0 进行许可。
引用信息
latex @misc{nicholas22aira, doi = {10.5281/zenodo.6989727}, url = {https://github.com/Nkluge-correa/Aira}, author = {Nicholas Kluge Corrêa}, title = {Aira}, year = {2023}, publisher = {GitHub}, journal = {GitHub repository}, }
@phdthesis{kluge2024dynamic, title={Dynamic Normativity}, author={Kluge Corr{^e}a, Nicholas}, year={2024}, school={Universit{"a}ts-und Landesbibliothek Bonn} }
贡献
如果您想贡献，请联系我 nicholas@airespucrs.org！
