Role-Playing Eval (RPEval)

RPEval是一个专门用于评估大型语言模型角色扮演能力的基准数据集。该数据集由里尔大学、CNRS、里尔中央理工学院、UMR 9189 CRIStAL等研究机构联合创建，旨在解决大型语言模型在角色扮演方面的评估难题。数据集包含了9018个场景，涵盖了情感理解、决策制定、道德一致性和角色一致性四个关键维度。数据集的构建过程包括角色描述生成、场景创建和众包标注。RPEval适用于研究大型语言模型在模拟人际互动方面的能力，并为相关研究提供了可复现的评估方法。

RPEval is a benchmark dataset specifically designed for evaluating the role-playing capabilities of large language models. It was jointly created by research institutions including the University of Lille, CNRS, École Centrale de Lille, UMR 9189 CRIStAL, with the core objective of addressing the evaluation challenges faced by large language models in role-playing scenarios. The dataset comprises 9,018 scenarios spanning four critical dimensions: emotional understanding, decision-making, moral consistency, and role consistency. Its construction workflow encompasses role description generation, scenario development, and crowdsourced annotation. RPEval is tailored for research on the ability of large language models to simulate interpersonal interactions, and offers reproducible evaluation methodologies for relevant academic studies.

搜集汇总

数据集介绍

构建方式

在构建Role-Playing Eval (RPEval)数据集时，研究团队首先开发了一个角色档案生成器，用于创建多样化的角色描述。每个角色档案包含姓名、年龄、性别、种族、偏好、个性特征和身体特征等详细信息。随后，利用OpenAI的GPT-4o生成了3,125个角色描述，并为每个角色创建了多个场景，涵盖情感理解、决策制定、道德对齐和角色一致性四个维度。通过众包平台收集了48,687条人类标注的响应，并通过多数投票机制确定了每个场景的预期响应，最终筛选出9,018个高质量场景和3,061个角色。

特点

RPEval数据集具有四个核心特点：情感理解、决策制定、道德对齐和角色一致性。情感理解要求模型识别并反映角色在特定情境下的情感状态；决策制定评估模型是否能够根据角色的目标和情境做出合理选择；道德对齐检验模型是否与角色的伦理框架保持一致；角色一致性则确保模型在对话中不泄露超出角色知识范围的信息。数据集通过单轮交互设计，实现了高效、标准化和可重复的自动化评估，适用于大规模语言模型在角色扮演能力上的系统性评测。

使用方法

使用RPEval数据集时，研究人员可以通过单轮交互的方式评估语言模型在角色扮演任务中的表现。首先，模型接收一个角色描述和来自另一个角色的消息，然后生成响应。评估过程采用二进制评分机制：情感理解场景中，模型正确识别情感得1分；决策制定和道德对齐场景中，模型选择与预期一致的二元响应得1分；角色一致性场景中，模型避免泄露超出角色知识的信息得1分。通过计算各维度的平均得分，可以全面评估模型在角色扮演任务中的综合能力。该数据集支持完全自动化的评估流程，确保了评测的高效性和可重复性。

背景与挑战

背景概述

Role-Playing Eval (RPEval) 是由法国里尔大学的研究团队于2025年提出的一个创新性基准测试，旨在系统评估大语言模型在角色扮演任务中的表现。该数据集隶属于RVRC4.0数字教育项目，专注于培养客户关系管理所需的软技能。研究团队包括Yassine El Boudouri等学者，他们针对传统角色扮演评估方法存在的资源消耗大、自动化评估偏差等问题，设计了包含情感理解、决策制定、道德对齐和角色一致性四个维度的评估框架。RPEval通过单轮交互设计实现了高效、标准化的评估流程，为教育技术和对话系统领域提供了重要的评估工具。

当前挑战

RPEval面临的核心挑战体现在两个层面：在领域问题层面，角色扮演评估需要解决多维度特征量化难题，包括如何准确定义情感映射规则、建立可验证的道德决策标准，以及防止角色知识越界等复杂问题；在构建技术层面，研究团队需要克服角色画像生成的创造性瓶颈，设计有效的众包标注质量控制机制，并解决单轮交互设计对长期角色一致性评估的局限性。特别是模型在角色知识一致性维度表现出的显著差异，揭示了现有语言模型在时空背景维持方面的固有缺陷。

常用场景

经典使用场景

RPEval数据集在评估大型语言模型（LLM）的角色扮演能力方面具有经典应用场景。通过模拟客户服务、教育训练等实际情境，该数据集能够系统地测试模型在情感理解、决策制定、道德对齐和角色一致性四个维度的表现。这种评估不仅为模型优化提供了量化标准，还为研究人员提供了可复现的实验框架，显著提升了评估效率和客观性。

衍生相关工作

RPEval的发布催生了多项角色扮演评估的创新研究。基于其框架衍生的Character-LLM提出了可训练角色代理架构，RoleLLM则探索了多角色基准测试方法。相关工作还扩展至安全领域，如检测模型在角色扮演中的越狱风险，推动了伦理对齐技术的发展。这些研究共同构成了LLM角色扮演能力评估的完整方法论体系。

数据集最近研究

最新研究方向

随着大语言模型在角色扮演任务中的广泛应用，RPEval数据集为评估模型的角色扮演能力提供了标准化基准。当前研究聚焦于四个核心维度：情感理解、决策制定、道德对齐和角色一致性，这些维度对于构建可信赖的角色扮演系统至关重要。前沿探索集中在如何通过自动化评估替代传统人工评估，以提高效率和可重复性。同时，研究者正致力于解决模型在长对话中保持角色一致性的挑战，以及如何避免知识泄露问题。该数据集在教育、心理咨询等领域的应用潜力引发了广泛关注，特别是在数字教育资源和软技能培训方面。

相关研究论文

• Role-Playing Evaluation for Large Language Models

  里尔大学, CNRS, 里尔中央理工学院, UMR 9189 CRIStAL, 法国里尔F-59000 · 2025年