s-nlp/ru_paradetox
收藏Hugging Face2025-04-02 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/s-nlp/ru_paradetox
下载链接
链接失效反馈官方服务：
资源简介：
ParaDetox数据集是第一个用于俄语文本去毒任务的平行语料库。该数据集通过Yandex.Toloka众包平台收集，分为三个步骤：生成释义、内容保留检查和毒性检查，以确保数据的高质量和自动化收集过程。数据集用于训练ruT5模型，该模型在去毒任务中达到了新的SOTA（state-of-the-art）水平。
提供机构：
s-nlp原始信息汇总
ParaDetox: Detoxification with Parallel Data (Russian)
数据集概述
- 语言: 俄语 (ru)
- 许可: openrail++
- 任务类别: 文本生成
数据集收集流程
- 任务1: 生成释义 - 用户需消除给定句子的毒性同时保持内容不变。
- 任务2: 内容保持检查 - 展示生成的释义及其原始版本，询问用户两者是否意义相近。
- 任务3: 毒性检查 - 检查工作者是否成功移除毒性。
解毒模型
- 模型: ruT5 (base)
- 训练数据: 俄罗斯ParaDetox数据集
- 状态: 新的解毒任务SOTA
- 可用性: 在HuggingFace🤗仓库中发布，链接为s-nlp/ruT5-base-detox
