ontocord/PolygloToxicityPrompts_permissive

Polyglo PTP Permissive数据集是ToxicityPrompts/PolygloToxicityPrompts中PTP配置的一个子集，根据本地URL/来源许可规则进行过滤。它包含多种语言（如阿拉伯语、捷克语、德语、英语、西班牙语、法语、印地语、印尼语、意大利语、日语、韩语、荷兰语、波兰语、葡萄牙语、俄语、瑞典语和中文），主要用于文本生成任务。原始扫描了425,000行数据，但仅保留了1,649行数据，具体统计信息（如保留/丢弃原因分布和每种语言的计数）可参考相关JSON文件。WildChat配置未包含在内，因为它们未提供行级来源URL。Polyglo PTP Permissive is a permissive-source subset of the PTP configs from ToxicityPrompts/PolygloToxicityPrompts, filtered using local URL/source permissiveness rules. It includes multiple languages (e.g., ar, cs, de, en, es, fr, hi, id, it, ja, ko, nl, pl, pt, ru, sv, zh) and is categorized under text-generation tasks. The dataset scanned 425,000 rows initially but kept only 1,649 rows, with detailed statistics on kept/discard reason distributions and per-language counts available in a JSON file. WildChat configs are excluded due to lack of row-level source URLs.

搜集汇总

数据集介绍

构建方式

PolygloToxicityPrompts_permissive数据集源自ToxicityPrompts/PolygloToxicityPrompts中的PTP配置，通过本工作空间内的本地URL/来源许可性规则进行严格过滤而构建。具体而言，仅保留了来源URL或数据源被判定为具有许可性的行，排除了WildChat配置因其缺乏行级来源URL。原始数据共计425,000行，经筛选后仅余1,649行，构建过程体现了对数据来源合法性与开放授权的高度重视。

特点

该数据集的核心特征在于其多语言覆盖性与许可性筛选的严谨性，涵盖阿拉伯语、中文、英语、法语、德语等17种语言，为跨语言毒性文本研究提供了极具价值的资源。筛选后的极小规模（1,649行）反而成为其优势，确保每条数据均具有可追溯且开放的来源。此外，数据以Parquet格式存储于data/*.parquet文件中，结构紧凑、读写高效，便于大规模文本生成任务的加载与处理。

使用方法

使用该数据集时，可直接通过HuggingFace的datasets库加载默认配置，例如使用`load_dataset('PolygloToxicityPrompts_permissive', 'default')`命令。数据以Parquet格式存储，支持高效的列式读取与随机访问，适用于文本生成模型（如GPT、LLaMA）的毒性评估或训练。由于数据规模较小，研究人员可快速进行全量分析或微调，其多语言特性也适合用于细粒度跨语言毒性检测的基准测试。

背景与挑战

背景概述

PolygloToxicityPrompts_permissive是PolygloToxicityPrompts数据集的许可性子集，由研究团队于近年构建，旨在促进多语言环境下毒性文本生成研究的可复现性与合规性。该数据集覆盖阿拉伯语、汉语、英语等17种语言，聚焦于从原始毒性提示中筛选出基于来源许可规则的文本片段，以支持跨语言文本生成任务中的毒性检测与缓解研究。其核心研究问题在于如何在不违反版权或使用条款的前提下，提供多样化的多语言毒性样本，从而推动多语言自然语言处理领域在伦理与安全性方面的进展。作为PTP系列的一个过滤版本，该数据集对语言模型的安全对齐研究具有重要参考价值，尤其为低资源语言的毒性分析提供了稀缺的高质量资源。

当前挑战

数据集面临的核心挑战首先在于多语言毒性检测的领域难题：不同语言中冒犯性表达的语义边界、文化特异性及隐含攻击性难以统一标注，导致跨语言模型泛化能力受限，容易因地域差异引发误判或漏报。其次，构建过程中需克服许可合规性瓶颈：从原始425,000行数据中严格筛选来源许可性，仅保留1,649条记录，这一高丢弃率暴露出当前多语言公开数据中可合法再分发的毒性样本极度匮乏的问题。此外，排除如WildChat等缺乏逐行URL来源的数据，进一步压缩了数据规模，使得研究者在保证伦理合规的同时，面临数据量与语言平衡性之间的严峻权衡。

常用场景

经典使用场景

PolygloToxicityPrompts_permissive数据集作为多语言毒性语言检测的重要资源，经典使用场景聚焦于评估和训练语言模型对毒性文本的识别与生成规避能力。该数据集涵盖17种语言，为跨文化毒性言论检测提供了标准化基准。研究者可利用其高挑战性样本（如隐性攻击、讽刺性毒性），测试模型在低资源语言上的鲁棒性，或探究不同语言中毒性表达的文化差异性。毒性的界定依赖当地来源许可性规则（permissive-source filtering），确保数据符合伦理标准，从而支持模型在安全可控范围内进行有害内容过滤训练。

解决学术问题

该数据集解决了多语言毒性检测中标注数据稀缺与跨语言泛化困难的核心学术挑战。此前研究多聚焦英语，忽视小语种毒性表达的特殊性。PolygloToxicityPrompts_permissive通过严格筛选允许性来源，排除了未经许可的潜在侵权内容，为构建伦理合规的毒性检测模型提供了高质量基线。其意义在于推动多语言AI安全研究从单一文化视角向多元价值对齐转变，尤其对低资源语言模型的毒性遏制能力评估具有奠基性影响，减少因文化偏见导致的误检或漏检问题。

衍生相关工作

该数据集衍生了多项经典工作，包括多语言毒性检测的跨文化对齐研究（如对比不同语言中歧视性隐喻的语义表征），以及基于提示工程的毒性规避策略优化。其子集被用于开发多语言暴力检测器，如HindiToxicityDetector与ArabicHateSpeechBenchmark。部分研究者利用其稀有毒性样本（如伪装成诗歌的仇恨言论）训练对抗性鲁棒模型。此外，该数据与ToxicityPrompts主集的联合分析催生了“许可性毒性数据”的伦理标注协议，成为ACL 2024中多语言安全性讨论的标准参照。