ROLETHINK

ROLETHINK数据集是由复旦大学和INF技术(上海)有限公司构建的，旨在评估角色扮演语言模型中角色思维生成的能力。该数据集从《冰与火之歌》系列作品中收集，包含22个角色的405个场景和18个角色的211个场景，分为金集和银集两个部分。金集使用原著小说中的角色独白作为参考，银集则使用来自粉丝网站和文学专家的角色内心分析。数据集适用于评估角色扮演模型在生成角色内心思想方面的性能。

The ROLETHINK dataset was constructed by Fudan University and INF Technology (Shanghai) Co., Ltd., aimed at evaluating the capacity of role-playing language models to generate character-specific thinking. This dataset is collected from the *A Song of Ice and Fire* literary series, containing 405 scenarios involving 22 characters and 211 scenarios involving 18 characters, and is split into two subsets, namely the Gold Set and the Silver Set. The Gold Set takes character monologues from the original novels as reference standards, while the Silver Set adopts character inner-thought analyses from fan websites and literary experts as references. This dataset is suitable for assessing the performance of role-playing language models when generating character inner thoughts.

搜集汇总

数据集介绍

构建方式

ROLETHINK数据集的构建源于对角色扮演语言模型（RPLAs）内部思维过程的深入探索。该数据集通过收集和分析《冰与火之歌》系列中的角色独白以及来自粉丝网站和文学专家的角色行为分析，构建了一个用于评估角色思维生成的基准。数据集分为金集和银集两个子集，金集使用小说中的原始角色独白作为参考，银集则使用专家合成的角色分析作为参考。为了解决这一挑战，研究人员提出了MIRROR方法，该方法通过检索记忆、预测角色反应和综合动机来生成角色思维。

使用方法

使用ROLETHINK数据集的方法涉及将角色配置文件和场景描述作为输入，然后使用大型语言模型（LLMs）生成角色的内心思考过程。生成的思考过程随后与参考思想进行比较，以评估模型的性能。此外，MIRROR方法可以用于增强LLMs的角色扮演能力，通过在角色行动之前生成思考过程，从而提高角色扮演的深度和准确性。该数据集和MIRROR方法为研究人员提供了一个强大的工具，用于开发更高级的RPLAs，这些RPLAs能够更深入地理解角色动机并更好地模拟人类行为。

背景与挑战

背景概述

随着大型语言模型（LLM）在角色扮演语言代理（RPLA）领域的应用日益广泛，角色扮演模型的内部思考过程逐渐成为研究的热点。RPLA在角色聊天机器人、游戏NPC等应用中扮演着重要角色，而理解角色的内心思想对于开发高级RPLA至关重要。为评估角色思考生成的质量，Xu等人于2025年构建了ROLETHINK数据集。该数据集以《冰与火之歌》系列为来源，包含丰富的角色独白和行为分析，旨在推动角色思考推理任务的进展。

当前挑战

ROLETHINK数据集面临着多方面的挑战。首先，生成高质量的字符内部思考数据仍然是一个难题，这涉及到如何准确捕捉角色在特定情境下的心理状态和决策过程。其次，评估角色思考生成的质量也面临挑战，因为现有的自动文本评估指标难以完全捕捉到角色思考的复杂性和深度。此外，角色思考生成的长度和内容质量对下游任务的影响也需要进一步研究。为了解决这些挑战，Xu等人提出了MIRROR方法，该方法通过检索记忆、预测角色反应和综合动机来生成角色思考。实验结果表明，MIRROR方法在角色思考生成任务中表现出色，为提高RPLA的性能提供了新的思路。

常用场景

经典使用场景

ROLETHINK数据集主要用于评估角色扮演语言代理（RPLA）的内部思考推理能力。该数据集由文学作品构建，包含丰富的角色独白和角色行为分析，旨在理解角色的内在动机和行为。RPLAs在处理特定场景时，需要根据角色配置文件和场景描述生成合理的角色思考过程，这些思考过程将影响角色的行为。ROLETHINK数据集为RPLAs提供了评估和改进内部思考推理能力的基准。

解决学术问题

ROLETHINK数据集解决了角色扮演语言代理（RPLA）在复杂任务中缺乏内在思考推理能力的问题。传统的RPLA方法主要关注角色对话的一致性，而忽略了角色内在的心理过程。ROLETHINK数据集通过引入内部思考推理任务，要求RPLAs在行动前生成角色思考过程，从而更好地理解和模拟角色行为。这有助于提升RPLAs在决策、心理推理等复杂任务中的表现，并促进角色扮演语言模型的研究与发展。

实际应用

ROLETHINK数据集在实际应用中具有广泛的应用前景。首先，它可以用于训练和评估角色扮演语言代理（RPLA），使其能够更好地理解和模拟角色行为，从而在游戏、虚拟助手等领域提供更加逼真的角色扮演体验。其次，ROLETHINK数据集可以帮助文学专家和粉丝更好地理解和分析角色心理，为文学作品的研究和创作提供新的视角和工具。此外，ROLETHINK数据集还可以用于评估和改进自然语言处理系统在处理叙事文本方面的能力，推动相关技术的发展。

数据集最近研究

最新研究方向

基于大型语言模型的角色扮演语言代理（RPLA）在模拟人物内心思考方面取得了显著进展。本研究提出的ROLETHINK数据集，旨在评估RPLA在生成角色内心思想方面的能力。通过构建金集和银集两种数据集，分别以原著中的角色独白和专家合成的角色分析作为参考，本研究揭示了角色内心思考对RPLA的重要性。此外，本研究还提出了MIRROR方法，该方法通过检索记忆、预测角色反应和合成动机来生成角色思想，并在实验中表现出色。这些研究成果为RPLA在生成角色内心思想方面的研究提供了新的思路和方法，有望进一步提升RPLA的角色扮演能力。

相关研究论文

• Guess What I am Thinking: A Benchmark for Inner Thought Reasoning of Role-Playing Language Agents

  复旦大学, INF技术(上海)有限公司 · 2025年