s-nlp/en_non_detoxified

ParaDetox数据集是一个用于文本去毒任务的英语数据集，特别包含了在改写任务中被标注为‘无法重写’的样本。这些样本无法去毒的原因可能包括文本本身无毒、毒性内容深植于信息中或文本难以理解。数据集通过Yandex.Toloka众包平台收集，分为生成改写、内容保留检查和毒性检查三个步骤。此仓库特别包含了生成改写任务的结果，数据集总大小约为12,059个样本。ParaDetox数据集是一个用于文本去毒任务的英语数据集，特别包含了在改写任务中被标注为‘无法重写’的样本。这些样本无法去毒的原因可能包括文本本身无毒、毒性内容深植于信息中或文本难以理解。数据集通过Yandex.Toloka众包平台收集，分为生成改写、内容保留检查和毒性检查三个步骤。此仓库特别包含了生成改写任务的结果，数据集总大小约为12,059个样本。

原始信息汇总

ParaDetox: Detoxification with Parallel Data (English)

数据集概述

• 任务类别: 文本分类
• 语言: 英语
• 许可证: openrail++

数据集内容

• 描述: 本数据集包含Paraphrase Task标记，来自English Paradetox dataset收集流程。数据集中包含被标记为*"cannot rewrite"*的样本。
• 数据收集流程:
  • Task 1: 生成改写: 要求用户在保持内容的同时消除句子中的毒性。
  • Task 2: 内容保持检查: 展示生成的改写与原始版本，并询问用户它们是否具有相似的含义。
  • Task 3: 毒性检查: 最终检查工作者是否成功移除了毒性。
• 特定内容: 本仓库包含Task 1: 生成改写的结果，数据集总大小约12,059样本，其中包含标注者无法解毒的样本。
• 无法解毒的原因:
  • 非毒性: 文本本身不含有毒性，可能带有负面情绪，但没有淫秽或粗鲁的词汇。
  • 毒性内容: 文本是被动攻击性的、讽刺的或其他，侮辱深植于信息中。要解毒，需要大幅度改变意义。
  • 不清晰: 文本仅涉及淫秽词汇、随机单词或任何其他令其难以理解主要内容的词组合。

引用信息

@inproceedings{logacheva-etal-2022-paradetox, title = "{P}ara{D}etox: Detoxification with Parallel Data", author = "Logacheva, Varvara and Dementieva, Daryna and Ustyantsev, Sergey and Moskovskiy, Daniil and Dale, David and Krotova, Irina and Semenov, Nikita and Panchenko, Alexander", booktitle = "Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)", month = may, year = "2022", address = "Dublin, Ireland", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2022.acl-long.469", pages = "6804--6818", abstract = "We present a novel pipeline for the collection of parallel data for the detoxification task. We collect non-toxic paraphrases for over 10,000 English toxic sentences. We also show that this pipeline can be used to distill a large existing corpus of paraphrases to get toxic-neutral sentence pairs. We release two parallel corpora which can be used for the training of detoxification models. To the best of our knowledge, these are the first parallel datasets for this task.We describe our pipeline in detail to make it fast to set up for a new language or domain, thus contributing to faster and easier development of new parallel resources.We train several detoxification models on the collected data and compare them with several baselines and state-of-the-art unsupervised approaches. We conduct both automatic and manual evaluations. All models trained on parallel data outperform the state-of-the-art unsupervised models by a large margin. This suggests that our novel datasets can boost the performance of detoxification systems.", }

搜集汇总

数据集介绍

构建方式

该数据集源自ParaDetox项目，旨在收集英语文本去毒化的平行语料。其构建依托于Yandex.Toloka众包平台，通过三个精心设计的任务环节实现：首先，任务一要求标注者对含有毒性元素的句子进行改写，生成非毒性释义；其次，任务二评估改写后的句子是否保留原意；最后，任务三验证改写结果是否成功消除毒性。本数据集特指任务一中标注者判定为“无法改写”的样本，共计约12,059条。此类样本无法改写的原因被归纳为三类：文本本身非毒性（仅含负面情绪而无粗俗词汇）、毒性内容深嵌于语境（如被动攻击或讽刺，需大幅改变语义）、以及内容模糊不清（仅含脏话或随机词汇，难以理解主旨）。标注者可为每条样本选择多个原因类别。

特点

该数据集的显著特点在于其聚焦于去毒化任务中的“失败案例”，即那些被人类标注者认为难以通过改写消除毒性的句子。这种设计使其区别于常规的平行语料库，为研究毒性表达的多样性与顽固性提供了独特视角。数据集包含三种明确的不可改写原因标签（非毒性、毒性内容深嵌、内容模糊），支持多标签分类，从而捕捉了毒性语言的复杂光谱。此外，其数据来源为经过严格质量控制的三阶段众包流程，确保了标注的可靠性。规模适中（约1.2万条），且与完整的ParaDetox数据集互补，共同构成了研究文本去毒化挑战的宝贵资源。

使用方法

该数据集适用于文本分类任务，尤其是毒性检测与去毒化难度评估。研究者可将其作为负样本集，用于训练或评估模型识别“不可去毒化”句子的能力。使用方法包括：直接加载HuggingFace数据集（s-nlp/en_non_detoxified），利用其提供的文本与多标签原因类别进行监督学习；或将其与ParaDetox中的可改写样本结合，构建更全面的去毒化基准测试。此外，数据集可辅助分析毒性语言的不同表现形式（如隐晦讽刺与直接粗俗），从而指导更精细化的去毒化策略设计。建议在使用时注意类别不平衡，并探索多标签分类模型以充分利用其标注信息。

背景与挑战

背景概述

在自然语言处理领域，文本解毒（detoxification）旨在消除内容中的毒性成分，同时保留其原始语义，这一研究方向对于构建安全、包容的在线交流环境具有重要意义。s-nlp/en_non_detoxified数据集由莫斯科斯科尔科沃科学技术研究所的研究团队于2022年创建，相关成果发表于ACL 2022主会议。该数据集聚焦于一个被忽视的难题：在ParaDetox数据收集流程中，标注者判定为“无法改写”的样本——即那些由于文本本身无毒、毒性深度嵌入内容（如被动攻击或讽刺）或语义模糊（如仅含粗俗词汇或随机组合）而难以实现解毒的案例。这些样本揭示了现有解毒模型的能力边界，为后续研究提供了关键基准，推动了对文本毒性本质的更深层理解。

当前挑战

该数据集所解决的领域问题在于，传统文本解毒研究多聚焦于可成功改写的有毒样本，而忽略了那些因毒性特征复杂而无法通过简单改写实现解毒的实例。具体挑战包括：1）语义保真与毒性消除的冲突——当毒性元素（如讽刺或被动攻击）与核心语义深度交织时，强行改写可能导致内容失真；2）标注主观性带来的不确定性——不同标注者对“无法改写”的判断标准存在差异，且可能同时选择多个原因，增加了数据噪声；3）构建过程中的质量控制难题——通过众包平台收集数据时，需确保标注者准确区分“无毒但情感消极”与“毒性深度嵌入”等细微差别，这对任务设计和标注指导提出了极高要求。这些挑战共同构成了当前文本解毒研究的瓶颈，亟待更精细的标注策略与建模方法予以突破。

常用场景

经典使用场景

在自然语言处理领域，文本去毒化（detoxification）是一项旨在自动消除文本中有害、冒犯或粗俗内容的研究任务。s-nlp/en_non_detoxified数据集作为ParaDetox项目的重要组成部分，专门收录了那些在人工改写过程中被标注为“无法改写”的样本。该数据集的经典使用场景在于为去毒化模型提供一种边界案例的测试基准，帮助研究者理解当原始文本本身非毒性、或毒性深嵌于语境（如讽刺、被动攻击性表达）时，模型应如何应对。通过聚焦这些“不可改写”样本，该数据集揭示了去毒化任务中内容保留与毒性消除之间的根本张力，成为评估模型鲁棒性的关键资源。

解决学术问题

该数据集直面去毒化研究中的一个核心学术难题：如何在不改变语义的前提下，处理那些毒性高度内嵌于文本结构的表达。传统方法常假设毒性可被简单替换或移除，但实际中许多句子（如带有隐晦讽刺或深层攻击性）的改写会导致语义剧烈扭曲。s-nlp/en_non_detoxified通过系统收集这些失败案例，为学术界提供了量化分析“去毒化极限”的工具。它帮助研究者识别模型失效模式，推动了对去毒化任务中内容保留与毒性消除之间权衡的深入理解，从而启发更精细化的文本生成策略，其意义在于引导领域从“暴力删除”转向“语义感知”的改写范式。

衍生相关工作

该数据集衍生出的经典工作主要包括基于并行数据的去毒化模型训练与评估体系。其所属的ParaDetox项目首次提出了系统化的平行语料收集管道，并证明了基于该管道训练的有监督模型在自动与人工评价中均显著优于当时最先进的无监督方法。后续研究在此基础上，进一步探索了多语言去毒化、零样本迁移学习以及毒性与情感交织的细粒度分析。此外，该数据集中的“不可改写”标注机制启发了多个关于文本改写边界与语义保真度的理论工作，成为ACL 2022等顶会上讨论去毒化挑战的基准参考，推动了该领域从单一任务向更复杂的可控文本生成方向演进。