FrenchToxicityPrompts

FrenchToxicityPrompts是由NAVER LABS欧洲研究中心创建的一个包含50,000条自然发生的法语提示及其续写的数据集，旨在评估和缓解法语文本中的毒性问题。该数据集从Reddit的公共数据集中提取，经过Spacy分割成句子，并使用Perspective API进行毒性标注。数据集内容丰富，包含多种毒性级别，适用于研究大型语言模型在非英语环境下的毒性检测和缓解。创建过程中，采用了多语言版本的Detoxify分类器进行预筛选，确保数据的高召回率。该数据集的应用领域主要集中在提升法语环境下语言模型的安全性和减少毒性内容的生成。FrenchToxicityPrompts is a dataset developed by NAVER LABS Europe, containing 50,000 naturally occurring French prompts and their corresponding continuations, aimed at evaluating and mitigating toxicity in French-language text. This dataset is extracted from public Reddit datasets, split into sentences using SpaCy, and annotated for toxicity via the Perspective API. With rich content covering multiple toxicity levels, it is suitable for researching toxicity detection and mitigation of large language models in non-English settings. During the dataset creation process, a multilingual Detoxify classifier was employed for pre-screening to ensure high data recall. The primary application areas of this dataset center on improving the safety of language models in the French context and reducing the generation of toxic content.

搜集汇总

数据集介绍

构建方式

FrenchToxicityPrompts数据集的构建基于一个名为Lélu的法国书面对话数据集，该数据集从Reddit的公开数据集中提取。研究者使用了spacy库将对话分割成句子，并对这些句子进行了毒性预过滤，以便于后续的毒性评分。毒性评分是通过Perspective API进行的，该API提供了多种属性来评估文本的毒性。最终，研究者将数据集中的句子分为提示和延续两部分，并对它们进行了毒性评分，以创建一个包含50,000个提示和延续的数据集。

使用方法

FrenchToxicityPrompts数据集可用于评估和减轻生成语言模型中的毒性。研究者可以使用数据集中的提示来生成模型的延续，然后使用Perspective API对延续进行毒性评分。通过分析毒性评分，研究者可以了解模型在不同维度上的潜在毒性，并据此调整模型以减轻毒性。此外，数据集还可以用于训练毒性检测模型，以提高检测的准确性和可靠性。

背景与挑战

背景概述

随着大型语言模型（LLMs）在生成人类语言文本方面的广泛应用，其潜在的生成偏见、有毒或有害语言的能力引起了广泛关注。尽管目前大多数评估和缓解毒性的工作主要集中在英语，但对于其他语言也同样重要。为了解决这一问题，Caroline Brun和Vassilina Nikoulina于2024年4月创建了FrenchToxicityPrompts数据集，该数据集包含50K个自然发生的法语提示及其延续，并使用广泛使用的毒性分类器进行了毒性评分。他们评估了来自四个流行开源LLMs家族的14个不同模型，以评估它们在各种维度上的潜在毒性。他们希望通过这项工作，促进未来对毒性检测和缓解的研究，不仅限于英语。

当前挑战

FrenchToxicityPrompts数据集面临的挑战包括：1) 毒性检测和缓解在非英语语言中的挑战，因为目前大多数工作主要集中在英语；2) 构建过程中遇到的挑战，例如，由于Perspective API的处理配额限制，无法直接使用API对大量数据进行毒性评估，需要先进行毒性预过滤；3) 毒性评分依赖于Perspective API，该API可能存在一定的偏差，并且在其他语言中的表现可能不如英语。

常用场景

经典使用场景

FrenchToxicityPrompts 数据集的主要用途是评估和缓解大型语言模型在生成法语文本时可能出现的毒性问题。该数据集包含了 50,000 个真实的法语提示及其延续，并由广泛使用的毒性分类器进行了毒性评分标注。通过使用该数据集，研究人员可以评估不同类型和参数大小的生成式大型语言模型在毒性生成方面的表现，并探究不同模型及其大小对毒性生成的影响。

解决学术问题

FrenchToxicityPrompts 数据集解决了在多语言和多文化背景下评估和缓解毒性问题的需求。尽管大多数研究集中在英语上，但毒性问题同样存在于其他语言中。FrenchToxicityPrompts 数据集的创建填补了这一空白，为研究毒性检测和缓解提供了重要的资源。此外，该数据集还揭示了不同模型及其大小对毒性生成的影响，以及指令微调对毒性生成的影响。

实际应用

FrenchToxicityPrompts 数据集在实际应用中可以用于改进和优化大型语言模型，使其在生成法语文本时更加安全、健康和有益。通过使用该数据集进行评估和测试，研究人员和开发人员可以更好地了解和掌握模型的毒性生成情况，从而采取相应的措施进行优化和改进。此外，该数据集还可以用于开发更准确、更有效的毒性检测和缓解工具，以提高文本质量，减少有害内容的生成和传播。

数据集最近研究

最新研究方向

FrenchToxicityPrompts数据集旨在解决大型语言模型（LLMs）在生成内容时可能出现的毒性问题，特别是在非英语语言中。该数据集由50,000个自然发生的法语提示及其延续组成，并使用广泛使用的毒性分类器进行了毒性评分。该研究评估了来自四个主要开源LLM家族的14个不同模型，以评估它们在不同维度上的潜在毒性。研究结果表明，随着模型规模的增加，毒性指标也随之增加，并且具有指令调整的模型比非指令模型产生的毒性指标更低。此外，XGLM和LLaMa模型在法语中生成的毒性内容比BLOOM和LLaMa2模型更多。该数据集的发布旨在促进未来对毒性检测和缓解的研究，特别是在非英语语言中。

相关研究论文

• FrenchToxicityPrompts: a Large Benchmark for Evaluating and Mitigating Toxicity in French Texts

  NAVER LABS欧洲研究中心 · 2024年