CHARACTERBENCH

CHARACTERBENCH是由清华大学CoAI Group创建的一个大规模双语生成基准数据集，专门用于评估大型语言模型（LLMs）的角色定制能力。该数据集包含22,859个人工标注的样本，涵盖3,956个角色，分为25个详细的角色类别。数据集的创建过程包括从多种来源收集角色对话语料库，并通过精心设计的查询来诱导角色生成与特定维度相关的响应。CHARACTERBENCH的应用领域主要集中在角色定制和对话生成模型的评估，旨在解决现有基准在角色多样性和评估维度上的不足，从而优化LLMs的角色定制能力。

CHARACTERBENCH is a large-scale bilingual generation benchmark dataset created by the CoAI Group of Tsinghua University, specifically dedicated to evaluating the role customization capabilities of Large Language Models (LLMs). This dataset contains 22,859 manually annotated samples, covering 3,956 unique roles, and is categorized into 25 detailed role categories. The construction process of CHARACTERBENCH entails collecting role dialogue corpora from diverse sources, and eliciting role-related responses aligned with specific dimensions through meticulously designed queries. The primary application scenarios of CHARACTERBENCH focus on the evaluation of role customization and dialogue generation models, aiming to address the shortcomings of existing benchmarks in terms of role diversity and evaluation dimensions, thereby optimizing the role customization performance of LLMs.

原始信息汇总

CharacterBench: Benchmarking Character Customization of Large Language Models

数据集概述

• 标题: CharacterBench: Benchmarking Character Customization of Large Language Models
• 内容: 数据和代码即将发布。

引用

@article{characterbench, title={CharacterBench: Benchmarking Character Customization of Large Language Models}, author={Jinfeng Zhou, Yongkang Huang, Bosi Wen, Guanqun Bi, Yuxuan Chen, Pei Ke, Zhuang Chen, Xiyao Xiao, Libiao Peng, Kuntian Tang, Rongsheng Zhang, Le Zhang, Tangjie Lv, Zhipeng Hu, Hongning Wang, Minlie Huang}, journal={AAAI}, year={2025} }

搜集汇总

数据集介绍

构建方式

CHARACTERBENCH数据集的构建基于大规模的角色对话语料库，涵盖了来自25个详细角色类别的3,956个角色，共计22,859个人工标注样本。数据收集通过四种方式完成：人类角色扮演、人类与原型（即大型语言模型）的互动、从文学资源中提取以及通过原型互动合成。为了确保评估的全面性，数据集定义了6个方面的11个评估维度，并根据角色特征是否在每个响应中显现，将这些维度分为稀疏维度和密集维度。针对每个维度，设计了特定的查询以诱导角色生成与特定维度相关的响应，从而实现对角色定制能力的有效评估。

特点

CHARACTERBENCH数据集的特点在于其规模庞大且多样性丰富，涵盖了广泛的角色类别和详细的评估维度。数据集不仅包含大量的双语样本，还通过精心设计的查询机制，确保了对角色定制能力的多维评估。此外，数据集还引入了CharacterJudge模型，用于提供低成本且稳定的自动评分，显著优于现有的自动评估模型（如GPT-4）。数据集的设计旨在解决现有基准在角色多样性和评估维度上的不足，确保评估的鲁棒性和有效性。

使用方法

CHARACTERBENCH数据集的使用方法主要包括通过特定维度的查询来诱导角色生成响应，并利用人工标注或CharacterJudge模型对这些响应进行评分。对于稀疏维度，采用目标导向的生成方式，通过提取角色档案中的信息片段来设计查询，确保角色响应与特定维度紧密相关。对于密集维度，则采用无目标查询，自然诱导角色在特定维度上的响应。数据集的使用不仅限于评估大型语言模型的角色定制能力，还可通过直接偏好优化（DPO）等技术，进一步优化模型的角色定制表现。

背景与挑战

背景概述

CHARACTERBENCH是由清华大学CoAI小组、灵犀AI、电子科技大学、中南大学和网易伏羲AI实验室等机构的研究人员于2024年提出的一个双语生成基准数据集，旨在评估大语言模型（LLMs）在角色定制方面的能力。该数据集包含22,859个人工标注的样本，涵盖了来自25个详细角色类别的3,956个角色。CHARACTERBENCH定义了6个方面的11个评估维度，并根据角色特征是否在每个响应中显现，将这些维度分为稀疏维度和密集维度。通过为每个维度设计特定的查询，CHARACTERBENCH能够有效且高效地评估LLMs在角色定制中的表现。该数据集的提出填补了现有基准在角色多样性和评估维度上的不足，为优化LLMs的角色定制能力提供了重要工具。

当前挑战

CHARACTERBENCH面临的挑战主要来自两个方面。首先，角色定制任务的复杂性要求评估基准能够覆盖多样化的角色类别和全面的评估维度，以确保评估的鲁棒性。然而，现有的基准往往仅涉及单一角色类别或有限的维度，难以全面反映LLMs的能力。其次，角色特征在响应中的稀疏性使得基于特征的生成评估既低效又难以保证评估的准确性。尽管已有研究尝试通过多选题形式的基准来缓解这一问题，但这简化了角色对话任务，无法充分评估模型的生成质量。CHARACTERBENCH通过引入大规模角色对话语料库和精心设计的查询，试图解决这些挑战，但其构建过程中仍需克服数据收集、标注和查询设计的复杂性。

常用场景

经典使用场景

CHARACTERBENCH数据集主要用于评估大型语言模型（LLMs）在角色定制化对话中的表现。通过涵盖25个详细角色类别中的3,956个角色，该数据集能够全面测试模型在不同角色背景下的对话生成能力。其经典使用场景包括角色扮演对话生成、角色特征一致性评估以及多维度对话质量分析。

解决学术问题

CHARACTERBENCH解决了现有基准在角色定制化评估中的不足，特别是角色多样性和评估维度单一的问题。通过定义11个维度的6个方面，该数据集能够全面评估模型在角色记忆、知识、情感、道德等方面的表现。此外，通过设计针对每个维度的查询，CHARACTERBENCH有效解决了角色特征在对话中稀疏分布的问题，提升了评估的效率和准确性。

衍生相关工作

CHARACTERBENCH的推出催生了一系列相关研究工作，特别是在角色定制化对话生成和评估领域。基于该数据集，研究者开发了CharacterJudge模型，用于低成本且稳定地评估LLMs的角色定制化能力。此外，该数据集还被用于直接偏好优化（DPO）等技术的实验，进一步推动了角色定制化对话系统的优化和发展。