s-nlp/paranmt_for_detox
收藏Hugging Face2023-09-08 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/s-nlp/paranmt_for_detox
下载链接
链接失效反馈官方服务：
资源简介：
ParaNMTDetox数据集是一个用于文本去毒任务的平行数据集，包含一对对的重述文本，其中一个是毒性的，另一个是非毒性的。毒性水平由英语毒性分类器定义。该数据集通过ParaNMT过滤管道进行处理，包括内容保留检查和毒性检查两个主要步骤。该数据集的相关研究在ACL 2022主会议上发表，展示了最先进的文本去毒技术。
ParaNMTDetox数据集是一个用于文本去毒任务的平行数据集，包含一对对的重述文本，其中一个是毒性的，另一个是非毒性的。毒性水平由英语毒性分类器定义。该数据集通过ParaNMT过滤管道进行处理，包括内容保留检查和毒性检查两个主要步骤。该数据集的相关研究在ACL 2022主会议上发表，展示了最先进的文本去毒技术。
提供机构：
s-nlp
原始信息汇总
数据集概述
数据集名称
ParaNMTDetox: Detoxification with Parallel Data (English)
数据集描述
本数据集包含经过筛选的ParaNMT数据集，用于文本解毒任务。数据集中的内容为一对对改写文本，其中一个是毒性文本，另一个是非毒性文本。毒性水平的定义依据英语毒性分类器。
数据集来源
数据集的筛选过程通过适应ParaDetox数据集收集，使用Yandex.Toloka众包平台进行。筛选过程分为三个步骤：
- 内容保留检查：向用户展示生成的改写文本及其原始版本，并询问它们是否具有相似的含义。
- 毒性检查：最终检查工作者是否成功移除了毒性。
相关文献
- 原始论文："ParaDetox: Detoxification with Parallel Data"
- 发表会议：ACL 2022主会议
许可证
openrail++
任务类别
- 文本生成
语言
- 英语
