s-nlp/ru_paradetox_toxicity

ParaDetox数据集是一个专注于俄语文本毒性检测的集合，通过Yandex.Toloka平台收集。数据集包含6,354个样本，其中1,506个为毒性示例，标签指示文本是否为毒性。数据收集过程包括生成同义句、内容保存检查和毒性检查三个步骤，本数据集主要关注毒性检查的结果。

---
许可证：openrail++
任务类别：
- 文本分类
语言：
- 俄语
---

# ParaDetox：基于平行数据的文本去毒（俄语版）·毒性任务结果

本仓库收录了来自[俄罗斯ParaDetox数据集（Russian Paradetox dataset）](https://huggingface.co/datasets/s-nlp/ru_paradetox)采集流程中的**毒性任务（Toxicity Task）**标注信息。

## ParaDetox 采集流程

ParaDetox数据集通过[Yandex.Toloka](https://toloka.yandex.com/)众包平台完成采集，整个采集流程分为三个步骤：
* **任务1：释义生成（Generation of Paraphrases）**：首个众包任务要求参与者在保留原文核心语义的前提下，消除给定句子中的毒性表述。
* **任务2：语义一致性校验（Content Preservation Check）**：向参与者展示生成的释义句与原始语句，要求其标注二者语义是否高度相近。
* **任务3：毒性校验（Toxicity Check）**：最终验证标注人员是否成功移除了文本中的毒性内容。

## 本仓库数据说明

本仓库仅收录**任务3：毒性校验（Toxicity Check）**的结果数据。本次收录的样本均满足标注置信度≥90%的条件。本任务的输入为文本数据，标签用于指示该文本是否具有毒性。本数据集总计包含6354条样本，其中毒性样本占比极少，共计1506对。

## 引用

@inproceedings{logacheva-etal-2022-study,
title = "文本风格迁移的人工与自动评估研究：以去毒任务为例",
author = "Logacheva, Varvara and
Dementieva, Daryna and
Krotova, Irina and
Fenogenova, Alena and
Nikishina, Irina and
Shavrina, Tatiana and
Panchenko, Alexander",
booktitle = "第二届自然语言处理系统人工评估研讨会（HumEval）论文集",
month = 5月,
year = "2022",
address = "爱尔兰都柏林",
publisher = "国际计算语言学协会（Association for Computational Linguistics）",
url = "https://aclanthology.org/2022.humeval-1.8",
doi = "10.18653/v1/2022.humeval-1.8",
pages = "90--101",
abstract = "文本生成模型的可靠评估往往颇具挑战，其中文本风格迁移任务尤为棘手，因其评估效果受多项参数影响。我们针对去毒任务开展了大量模型的评估实验，探究了人工评估指标与自动评估指标间的关联，发现二者仅存在弱相关性，且该相关性依赖于生成文本所用的模型类型。自动评估指标对性能更优的模型可靠性更低。不过，研究结果表明，ChrF与BertScore指标可在一定程度上作为文本去毒任务人工评估的替代指标。",
}

## 联系方式

如有任何疑问，请联系：达里娜·杰缅季耶娃（Daryna Dementieva），电子邮箱：[e-mail]

原始信息汇总

ParaDetox: Detoxification with Parallel Data (Russian)

数据集概述

• 许可证: openrail++
• 任务类别: 文本分类
• 语言: 俄语

数据集内容

• 任务描述: 本数据集包含毒性任务的标记结果，来自俄罗斯ParaDetox数据集的收集流程。
• 收集流程:
  • 任务1: 生成同义句，要求用户在不改变原意的情况下消除句子中的毒性。
  • 任务2: 内容保持检查，展示生成的同义句及其原始版本，询问用户它们是否意义相近。
  • 任务3: 毒性检查，检查工作者是否成功移除了毒性。
• 数据详情:
  • 包含内容: 本仓库特别包含任务3: 毒性检查的结果，其中样本的标记置信度大于等于90%。
  • 输入与标签: 输入为文本，标签显示文本是否具有毒性。
  • 样本数量: 总计6,354个样本，其中毒性样本为1,506对。

引用信息

@inproceedings{logacheva-etal-2022-study, title = "A Study on Manual and Automatic Evaluation for Text Style Transfer: The Case of Detoxification", author = "Logacheva, Varvara and Dementieva, Daryna and Krotova, Irina and Fenogenova, Alena and Nikishina, Irina and Shavrina, Tatiana and Panchenko, Alexander", booktitle = "Proceedings of the 2nd Workshop on Human Evaluation of NLP Systems (HumEval)", month = may, year = "2022", address = "Dublin, Ireland", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2022.humeval-1.8", doi = "10.18653/v1/2022.humeval-1.8", pages = "90--101", abstract = "...", }