s-nlp/en_paradetox_content

--- license: openrail++ task_categories: - text-classification language: - en --- # ParaDetox: Detoxification with Parallel Data (English). Content Task Results This repository contains information about **Content Task** markup from [English Paradetox dataset](https://huggingface.co/datasets/s-nlp/paradetox) collection pipeline. The original paper ["ParaDetox: Detoxification with Parallel Data"](https://aclanthology.org/2022.acl-long.469/) was presented at ACL 2022 main conference. ## ParaDetox Collection Pipeline The ParaDetox Dataset collection was done via [Yandex.Toloka](https://toloka.yandex.com/) crowdsource platform. The collection was done in three steps: * *Task 1:* **Generation of Paraphrases**: The first crowdsourcing task asks users to eliminate toxicity in a given sentence while keeping the content. * *Task 2:* **Content Preservation Check**: We show users the generated paraphrases along with their original variants and ask them to indicate if they have close meanings. * *Task 3:* **Toxicity Check**: Finally, we check if the workers succeeded in removing toxicity. Specifically this repo contains the results of **Task 2: Content Preservation Check**. Here, the samples with markup confidence >= 90 are present. One text in the pair is toxic, another -- its non-toxic paraphrase (should be). Totally, datasets contains 32,317 pairs. Among them, the minor part is negative examples (4,562 pairs). ## Citation ``` @inproceedings{logacheva-etal-2022-paradetox, title = "{P}ara{D}etox: Detoxification with Parallel Data", author = "Logacheva, Varvara and Dementieva, Daryna and Ustyantsev, Sergey and Moskovskiy, Daniil and Dale, David and Krotova, Irina and Semenov, Nikita and Panchenko, Alexander", booktitle = "Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)", month = may, year = "2022", address = "Dublin, Ireland", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2022.acl-long.469", pages = "6804--6818", abstract = "We present a novel pipeline for the collection of parallel data for the detoxification task. We collect non-toxic paraphrases for over 10,000 English toxic sentences. We also show that this pipeline can be used to distill a large existing corpus of paraphrases to get toxic-neutral sentence pairs. We release two parallel corpora which can be used for the training of detoxification models. To the best of our knowledge, these are the first parallel datasets for this task.We describe our pipeline in detail to make it fast to set up for a new language or domain, thus contributing to faster and easier development of new parallel resources.We train several detoxification models on the collected data and compare them with several baselines and state-of-the-art unsupervised approaches. We conduct both automatic and manual evaluations. All models trained on parallel data outperform the state-of-the-art unsupervised models by a large margin. This suggests that our novel datasets can boost the performance of detoxification systems.", } ``` ## Contacts For any questions, please contact: Daryna Dementieva ([e-mail])license: openrail++ 任务类别： - 文本分类（text-classification） 语言： - 英语（en） --- # ParaDetox：基于平行语料的文本去毒任务（英文）内容任务结果 本仓库收录了来自[英文ParaDetox数据集（English Paradetox dataset）](https://huggingface.co/datasets/s-nlp/paradetox)采集流程的**内容任务（Content Task）**标注信息。原始论文《ParaDetox: Detoxification with Parallel Data》已在ACL 2022主会议上发表。 ## ParaDetox数据集采集流程 ParaDetox数据集通过[Yandex.Toloka](https://toloka.yandex.com/)众包平台完成采集，共分为三个步骤： * **任务1：释义生成**：首个众包任务要求参与者在保留原文语义的前提下，消除给定句子中的毒性表述。 * **任务2：内容一致性校验**：我们向标注人员展示生成的释义句及其原始有毒文本，要求其判断二者语义是否相近。 * **任务3：毒性校验**：最终，我们验证标注人员是否成功移除了文本中的毒性内容。 具体而言，本仓库仅收录**任务2：内容一致性校验**的标注结果。此处收录的样本均满足标注置信度≥90的要求，每一组样本包含一对句子：一句为有毒文本，另一句为对应的无毒释义（理论上应符合要求）。本数据集总计包含32317组样本，其中负样本占少数，共4562组。 ## 引用格式 @inproceedings{logacheva-etal-2022-paradetox, title = "{P}ara{D}etox: Detoxification with Parallel Data", author = "Logacheva, Varvara 及 Dementieva, Daryna 及 Ustyantsev, Sergey 及 Moskovskiy, Daniil 及 Dale, David 及 Krotova, Irina 及 Semenov, Nikita 及 Panchenko, Alexander", booktitle = "Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)", month = may, year = "2022", address = "Dublin, Ireland", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2022.acl-long.469", pages = "6804--6818", abstract = "本文提出了一种全新的平行语料采集流程，用于文本去毒任务。我们为超过10000条英文有毒句子生成了无毒释义句。此外，我们证明该流程可用于对现有大型释义语料进行筛选，以获得有毒-无毒句对。我们发布了两组平行语料，可用于训练文本去毒模型。据我们所知，这是首个针对该任务的平行数据集。我们详细描述了该采集流程，以便快速适配新语言或新领域，从而为新型平行语料资源的快速开发提供支持。我们在采集得到的数据集上训练了多款文本去毒模型，并与多个基线模型及当前最优的无监督方法进行了对比。我们同时开展了自动评估与人工评估。所有基于平行语料训练的模型均大幅优于当前最优的无监督模型，这表明我们提出的新型数据集可有效提升文本去毒系统的性能。", } ## 联系方式 如有任何疑问，请联系：达里娜·德门季耶娃（Daryna Dementieva），邮箱：[e-mail]

原始信息汇总

ParaDetox数据集概述

数据集基本信息

• 许可证: openrail++
• 任务类别: 文本分类
• 语言: 英语

数据集描述

• 名称: ParaDetox: Detoxification with Parallel Data (English)
• 内容: 包含内容任务标记的英语Paradetox数据集收集流程的结果。
• 原始论文: "ParaDetox: Detoxification with Parallel Data"，发表于ACL 2022主会议。

数据收集流程

• 平台: 使用Yandex.Toloka众包平台进行数据收集。
• 步骤:
  • 任务1: 生成同义句，要求用户消除句子中的毒性同时保持内容不变。
  • 任务2: 内容保持检查，展示生成的同义句及其原始版本，询问用户它们是否意义相近。
  • 任务3: 毒性检查，检查工作者是否成功移除了毒性。

数据集详情

• 包含内容: 主要包含任务2: 内容保持检查的结果，样本的标记置信度需大于等于90。
• 数据结构: 每对文本中，一个文本为有毒性，另一个为其无毒性的同义句。
• 数据量: 总共包含32,317对文本，其中4,562对为负例。

引用信息

@inproceedings{logacheva-etal-2022-paradetox, title = "{P}ara{D}etox: Detoxification with Parallel Data", author = "Logacheva, Varvara and Dementieva, Daryna and Ustyantsev, Sergey and Moskovskiy, Daniil and Dale, David and Krotova, Irina and Semenov, Nikita and Panchenko, Alexander", booktitle = "Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)", month = may, year = "2022", address = "Dublin, Ireland", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2022.acl-long.469", pages = "6804--6818", abstract = "..." }

搜集汇总

数据集介绍

构建方式

ParaDetox内容任务数据集源自英语并行去毒化语料库的构建流程，该流程依托于Yandex.Toloka众包平台，分三个阶段精心设计。首阶段，众包工作者被要求在不改变原意的前提下，消除给定句子中的毒性成分，生成改写版本。第二阶段，即本数据集所聚焦的内容保留检查，向工作者展示改写句与原始句对，由他们判断两者语义是否高度一致。仅当标注置信度不低于90%时，样本才被纳入最终集合。第三阶段则对改写句的毒性去除效果进行验证。如此，通过层层筛选与质量控制，最终形成了包含32,317对文本的数据集，其中少数为负例，即内容未得到妥善保留的样本。

特点

该数据集的核心特色在于其专注于内容保留维度的精细标注，为去毒化研究提供了独特的评价基准。数据集中每一对文本均由一个毒性句子与其对应的非毒性改写句构成，且所有样本均经过高置信度的众包验证，确保了标注的可靠性。值得注意的是，负例样本的精心保留（共4,562对）使得数据集不仅能用于训练模型，更可有效评估模型在去除毒性时是否保持了原始语义的完整性。这种二元结构的设计，使其成为检验文本去毒化系统性能的理想测试床，尤其适用于需要同时考量去毒效果与内容保真度的场景。

使用方法

本数据集可直接用于文本分类任务，特别是毒性检测与内容保留评估。研究人员可将其作为训练集或验证集，用于微调基于Transformer的预训练语言模型（如BERT、RoBERTa等），以构建能够精准识别语义一致性的分类器。使用时，需将每对文本中的毒性句子作为输入，非毒性改写句作为正例标签，负例则标记为反例，从而训练模型区分成功与失败的去毒化改写。此外，该数据集还可作为去毒化生成模型的评价基准，通过计算模型输出与原始句对的语义相似度，量化内容保留程度。建议结合HuggingFace的datasets库加载数据，并利用标准的分类评估指标（如准确率、F1分数）进行性能度量。

背景与挑战

背景概述

在自然语言处理领域，文本去毒化（detoxification）旨在自动将包含攻击性、仇恨或冒犯性语言的句子转化为中性表达，同时保留原始语义。这一任务对于构建安全、包容的在线交流环境至关重要，尤其在社交媒体、评论系统和内容审核等场景中具有广泛的应用前景。然而，长期以来，该领域缺乏高质量的平行语料库，即一对一的毒性-非毒性句子对，这严重制约了基于监督学习的去毒化模型的发展。为填补这一空白，由Varvara Logacheva、Daryna Dementieva等研究者组成的团队于2022年在ACL会议上提出了ParaDetox数据集，并发布了其内容任务子集（s-nlp/en_paradetox_content）。该数据集通过Yandex.Toloka众包平台，采用三步流水线（改写生成、内容保留检查、毒性检查）收集了超过32,000对英文句子，其中包含4,562个负例。核心研究问题在于如何高效构建大规模平行去毒化数据，并验证其对于提升模型性能的有效性。该数据集不仅为去毒化任务提供了首个公开的平行语料基准，还通过实验证明，基于这些数据训练的模型显著优于无监督方法，从而推动了该领域的范式转变。

当前挑战

当前数据集面临的挑战主要体现在两个层面。首先，在领域问题层面，尽管ParaDetox提供了高质量的平行数据，但去毒化任务本身仍面临语义保留与毒性消除之间的权衡难题：模型在移除冒犯性表达时，可能无意中改变句子的核心内容、语气或情感倾向，导致生成结果与原始意图偏离。此外，毒性定义的模糊性和文化依赖性使得模型难以泛化到不同语境或语言，而数据集仅涵盖英文，限制了其在多语言场景下的适用性。其次，在构建过程中，众包标注带来了质量控制挑战：虽然三步流水线设计了内容保留和毒性检查环节，但标注者对于“毒性”和“内容相似性”的判断存在主观差异，导致部分负例可能因标注噪声而混入数据。同时，数据集规模相对有限（约3.2万对），对于训练大型语言模型而言仍显不足，且正负样本不平衡（负例仅占14%）可能影响模型对边界案例的鲁棒性。这些挑战共同指向了未来在数据多样性、标注一致性以及模型泛化能力方面的改进方向。

常用场景

经典使用场景

在自然语言处理领域，文本去毒化任务旨在将含有攻击性、侮辱性或仇恨性表达的语句转化为中性且语义保留的表述，而s-nlp/en_paradetox_content数据集正是为此任务提供关键支撑的典范资源。该数据集聚焦于内容保留性检验，包含超过三万两千对由原始有毒句子与人工生成的无毒改写句组成的平行语料，其中标注了语义一致性置信度。研究者可借助该数据集训练和评估文本去毒化模型，通过监督学习范式确保模型在移除毒性成分的同时，最大程度地保留原句的语义信息与核心内容，成为构建鲁棒性去毒化系统的基石。

实际应用

在实际应用层面，该数据集赋能了社交媒体内容审核、在线论坛管理及客户服务对话系统等场景。例如，社交平台可利用基于此数据集训练的模型，自动将用户生成的攻击性评论转化为礼貌且信息完整的表达，从而在维护社区规范的同时避免对话中断。此外，在智能客服领域，模型可实时过滤并改写用户输入的负面情绪，确保交互的友好性与服务效率。这些应用不仅降低了人工审核成本，还提升了用户体验的连贯性与包容性，彰显了技术在社会治理中的积极价值。

衍生相关工作

基于s-nlp/en_paradetox_content数据集，衍生了一系列具有影响力的经典工作。原始论文《ParaDetox: Detoxification with Parallel Data》发表于ACL 2022，系统提出了语料收集流水线并验证了平行数据对去毒化任务的提升效果。后续研究进一步探索了多语言扩展、跨领域迁移学习以及结合对抗训练的去毒化模型，部分工作利用该数据集作为基准，对比了不同架构（如Transformer与预训练语言模型）的性能。此外，该数据集还催生了针对语义保留度的细粒度评估指标研究，为文本生成任务中的质量控制提供了新视角，成为去毒化领域不可或缺的参考资源。