ChatAnime

我们介绍了**ChatAnime**，这是第一个情感支持角色扮演（ESRP）数据集。我们首先从全球主要动漫社区精心挑选了20个顶级角色，并设计了60个以情感为中心的现实场景问题。然后，我们执行了一个严格的全国选拔过程，确定了40名具有特定角色深刻知识和广泛角色扮演经验的中国动漫爱好者。接下来，我们系统地收集了来自10个LLM和这40名中国动漫爱好者的两轮对话数据。为了评估LLM的ESRP性能，我们设计了一个以用户体验为导向的评估系统，包含三个维度的9个细粒度指标：基本对话、角色扮演和情感支持，以及一个用于响应多样性的总体指标。总共，该数据集包含2,400个人类编写的和24,000个LLM生成的答案，支持超过132,000个人类Likert-scale注释，包括细粒度质量评分和多样性评估。实验结果表明，表现最佳的LLM在角色扮演和情感支持方面超过了人类粉丝，而人类在响应多样性方面仍然领先。我们希望这项工作能为未来优化LLM在ESRP中的研究提供有价值的资源和见解。

We introduce **ChatAnime**, the first Emotional Support Role-Playing (ESRP) dataset. We first carefully selected 20 top-tier characters from major global anime communities, and designed 60 emotion-centric real-world scenario-based questions. Then, we conducted a strict national selection process to identify 40 Chinese anime enthusiasts with in-depth knowledge of specific characters and extensive role-playing experience. Subsequently, we systematically collected two rounds of conversational data from 10 LLMs and these 40 Chinese anime fans. To evaluate the ESRP performance of LLMs, we designed a user experience-oriented evaluation system consisting of 9 fine-grained metrics across three dimensions: basic conversation, role-playing, and emotional support, plus an overall metric for response diversity. In total, the dataset contains 2,400 human-written and 24,000 LLM-generated responses, supporting over 132,000 human Likert-scale annotations including fine-grained quality ratings and diversity assessments. Experimental results show that the best-performing LLMs outperform human fans in role-playing and emotional support, while humans still lead in response diversity. We hope this work will provide valuable resources and insights for future research optimizing LLMs' applications in ESRP.

原始信息汇总

ChatAnime数据集概述

数据集简介

• 名称：ChatAnime
• 类型：情感支持角色扮演(ESRP)对话数据集
• 首创性：首个情感支持角色扮演数据集

数据构成

• 角色选择：精选20个来自全球主要动漫社区的顶级角色
• 场景设计：设计60个以情感为中心的真人场景问题
• 参与者：
  • 40名中国动漫爱好者(经过全国严格选拔)
  • 10个大型语言模型(LLMs)
• 数据量：
  • 2,400条人工撰写答案
  • 24,000条LLM生成答案
  • 132,000+条人类Likert量表标注

评估体系

• 评估维度：
  1. 基础对话
  2. 角色扮演
  3. 情感支持
• 评估指标：
  • 9个细粒度指标
  • 1个整体多样性指标

主要发现

• 表现最佳的LLMs在角色扮演和情感支持方面超越人类粉丝
• 人类在回答多样性方面仍保持领先

研究价值

• 为优化LLMs在情感支持角色扮演方面的研究提供宝贵资源和见解

示例展示

• 角色：路飞(航海王)
• 场景：学生在食堂独自用餐感到孤独
• 对比对象：
  • DeepSeek-V3
  • Claude-Sonnet-4
  • 人类粉丝
• 表现分析：
  • 角色知识：DeepSeek-V3最全面
  • 说话风格：三者均保持角色特点
  • 情感价值：三者均表现出色
  • 需求匹配：LLMs提供更具体建议

搜集汇总

数据集介绍

构建方式

在动漫角色情感支持对话研究领域，ChatAnime数据集的构建体现了严谨的学术设计。研究团队首先从全球主流动漫社区精选20个顶级角色，并精心设计60个情感导向的现实场景问题。通过全国范围的严格筛选，招募了40名具备深厚角色认知和丰富角色扮演经验的中国动漫爱好者。采用系统性数据采集方法，分别收集了10个大语言模型和人类参与者的两轮对话数据。为确保评估的全面性，研究设计了包含9个细粒度指标的用户体验导向评估体系，涵盖基础对话、角色扮演和情感支持三个维度，并引入响应多样性作为整体评估指标。

特点

作为首个情感支持角色扮演(ESRP)专项数据集，ChatAnime具有显著的研究价值。数据集包含2,400条人类撰写和24,000条LLM生成的回答，辅以超过132,000条人类标注的Likert量表评分，涵盖细粒度质量评估和多样性评价。特别值得注意的是，数据集通过对照实验揭示了LLM与人类在ESRP任务中的差异化表现：顶级LLM在角色扮演和情感支持维度超越人类爱好者，而人类在响应多样性方面保持优势。这种多维度的性能对比为LLM的情感计算研究提供了宝贵基准。

使用方法

该数据集为探索LLM在情感支持角色扮演场景的应用提供了标准化研究框架。研究者可通过分析人类与LLM的对照响应，深入理解两者在基础对话能力、角色一致性保持和情感支持策略等方面的差异。数据集配套的9维度评估体系可直接用于模型性能测评，其中包含的角色知识准确性、语言风格匹配度等细粒度指标尤其适合优化角色扮演类对话系统。大量标注数据支持端到端的模型训练，而场景化的对话示例则为提示工程提供了丰富参考。实验表明，该数据集能有效指导模型在保持角色特质的同时提升情感共鸣能力。

背景与挑战

背景概述

ChatAnime数据集由全球知名动漫社区的研究团队于近期创建，旨在探索大型语言模型（LLMs）在情感支持角色扮演（ESRP）领域的表现。该数据集精选了20个顶级动漫角色，并设计了60个情感导向的现实场景问题。研究团队通过严格的全国选拔程序，遴选出40位具有深厚角色认知和丰富扮演经验的中国动漫爱好者参与数据构建。ChatAnime共包含2,400条人工撰写和24,000条LLM生成的对话数据，以及超过132,000条人类评分标注，为ESRP研究提供了首个系统性的基准测试平台。该数据集不仅揭示了LLMs在角色扮演和情感支持方面超越人类爱好者的潜力，同时也为优化对话系统的情感交互能力提供了重要参考。

当前挑战

ChatAnime数据集面临的核心挑战主要体现在两个维度。在领域问题层面，情感支持角色扮演要求模型同时具备精准的角色特征把握、自然的情感表达和有效的支持策略制定能力，这种多任务协同对现有对话系统提出了极高要求。数据构建过程中，研究团队需要克服角色知识完整性验证、情感场景代表性平衡以及跨文化语境适配等难题。特别是针对中国动漫爱好者这一特定群体，如何确保角色认知的深度与广度，以及如何处理二次元文化特有的表达方式，都成为数据集质量保障的关键挑战。此外，设计兼顾细粒度评估和用户体验的九维度评价体系，也需要在专业性和可操作性之间取得平衡。

常用场景

经典使用场景

在情感支持角色扮演（ESRP）研究领域，ChatAnime数据集为探索大型语言模型（LLMs）与人类在动漫角色情感互动中的表现差异提供了基准平台。该数据集通过精心设计的60个情感导向现实场景问题，系统比较了10种主流LLMs与40名资深动漫爱好者的对话表现，尤其在模拟《海贼王》路飞等经典角色时，能够评估模型在保持角色一致性、情感共鸣和语言风格适配等维度的综合能力。

实际应用

该数据集的实际价值体现在智能陪伴系统的开发中。基于ChatAnime训练的模型可应用于心理健康辅助场景，例如为孤独症患者提供具有动漫角色特征的对话陪伴。某案例显示，经过优化的LLMs能像《海贼王》路飞那样，用'伙伴'概念和冒险故事缓解用户的孤独感，这种非临床干预方式在青少年群体中展现出独特吸引力。

衍生相关工作

ChatAnime催生了多个ESRP细分研究方向。基于其构建的跨角色情感支持评估框架，后续研究提出了角色知识蒸馏技术，如《AnimeBERT》通过迁移学习提升模型对特定角色背景的捕捉能力；在对话多样性方面，有工作借鉴人类应答数据开发了基于对抗生成网络的应答变异算法，显著提升了LLMs输出的自然度和创意性。