FairMT-10K

FairMT-10K是由浙江大学创建的多轮对话公平性评估数据集，旨在解决大型语言模型（LLM）在多轮对话中的公平性问题。该数据集包含10280条多轮对话数据，涵盖了刻板印象和毒性两种主要偏见类型，以及性别、种族、宗教等六种偏见属性。数据集的创建过程结合了现有公平性数据集，并通过模板生成多轮对话数据。FairMT-10K主要应用于评估和改进LLM在多轮对话中的公平性，特别是在复杂对话场景中的偏见识别和纠正。FairMT-10K is a multi-turn dialogue fairness evaluation dataset developed by Zhejiang University, aiming to address the fairness-related issues of Large Language Models (LLMs) in multi-turn conversations. This dataset contains 10,280 multi-turn dialogue samples, covering two primary bias types: stereotypes and toxicity, as well as six bias attributes including gender, race, religion and others. The construction of FairMT-10K integrates existing fairness datasets and generates multi-turn dialogue data via template-based approaches. FairMT-10K is primarily applied to evaluate and improve the fairness of LLMs in multi-turn dialogues, especially for bias identification and correction in complex conversational scenarios.

搜集汇总

数据集介绍

构建方式

FairMT-10K数据集的构建基于现有的公平性数据集，并采用了特定的模板来生成多轮对话数据。具体而言，数据集涵盖了两种主要的偏见类型（刻板印象和毒性）以及六种偏见属性（性别、种族、宗教等）。通过从RedditBias、SBIC和HateXplain等数据集中提取包含这些属性的偏见描述，研究人员设计了多轮对话任务，并使用GPT-4作为代理生成多轮对话的输入。数据集仅包含输入提示，并通过将多轮提示依次输入到语言模型中，使用模型的输出作为下一轮输入的对话历史。

特点

FairMT-10K数据集的主要特点在于其全面性和多样性。它不仅涵盖了多种偏见类型和属性，还通过多轮对话的形式模拟了现实世界中的复杂交互场景。此外，数据集的构建过程中使用了GPT-4作为生成工具，确保了数据的高质量和多样性。通过这种方式，FairMT-10K能够有效地评估语言模型在多轮对话中的公平性表现。

使用方法

使用FairMT-10K数据集时，研究人员可以将多轮对话提示输入到目标语言模型中，并分析模型在每一轮对话中的输出。通过对比模型的输出与原始偏见描述，可以评估模型在理解上下文、用户交互和指令权衡等方面的公平性表现。此外，数据集还提供了GPT-4和Llama-Guard-3等工具，用于辅助评估模型的输出是否包含或支持偏见描述，从而确保评估的可靠性和客观性。

背景与挑战

背景概述

随着大型语言模型（LLM）基础的聊天机器人在各种应用中的广泛部署，其对社会生活的影响日益加深，LLM的公平性问题引起了学者的广泛关注。FairMT-10K数据集由浙江大学的Zhiting Fan、Ruizhe Chen等人创建，旨在评估LLM在多轮对话场景中的公平性。该数据集涵盖了多种偏见类型和属性，通过多轮对话任务，揭示了当前LLM在处理复杂对话上下文时可能产生的偏见累积问题。FairMT-10K的创建填补了现有公平性基准主要关注单轮对话的空白，为评估LLM在更真实的多轮对话环境中的公平性提供了全面的工具。

当前挑战

FairMT-10K数据集面临的挑战主要集中在两个方面：一是解决多轮对话场景中偏见累积的问题，这是现有单轮对话公平性评估所忽视的；二是构建过程中遇到的复杂性，包括如何设计能够有效评估LLM在多轮对话中公平性的任务和如何确保数据集覆盖多种偏见类型和属性。此外，评估LLM在多轮对话中的公平性需要克服对话复杂性和潜在偏见积累的难题，确保模型在面对多轮用户交互时仍能保持公平性。

常用场景

经典使用场景

FairMT-10K数据集的经典使用场景主要集中在多轮对话中的公平性评估。该数据集通过模拟真实世界的多轮对话，评估大型语言模型（LLMs）在处理复杂对话上下文时的公平性表现。具体任务包括上下文理解、用户交互和指令权衡，涵盖了从理解隐含偏见到在交互中纠正偏见，再到在指令冲突时保持公平性的多个阶段。

实际应用

在实际应用中，FairMT-10K数据集被广泛用于开发和测试能够处理多轮对话的公平性算法。例如，在客户服务聊天机器人、虚拟助手和在线教育平台中，这些算法能够确保在与用户的长时间交互中保持公平和无偏见，从而提升用户体验和信任度。

衍生相关工作

基于FairMT-10K数据集，研究者们开发了多种改进LLMs公平性的方法。例如，一些工作专注于通过对抗训练减少模型在多轮对话中的偏见积累，而另一些则提出了新的评估框架来更全面地测试模型的公平性。此外，FairMT-1K数据集的推出进一步推动了对更具挑战性的公平性评估的研究。