BaiJia

BaiJia是一个专注于中国历史人物的角色扮演代理语料库，旨在通过提供高质量、低资源的数据来增强大型语言模型（LLMs）的角色扮演能力。

BaiJia is a corpus of role-playing agents focused on Chinese historical figures, which aims to enhance the role-playing capabilities of large language models (LLMs) by providing high-quality, low-resource datasets.

原始信息汇总

BaiJia: 大规模中国历史人物角色扮演代理语料库

概述

BaiJia 是一个专注于中国历史人物的角色扮演代理语料库，旨在通过提供高质量、低资源的数据来增强大语言模型（LLMs）的角色扮演能力。

项目结构

• Demo_Baijia: 公开可用的数据集部分，用于实验和评估。
• Eval_Question: 用于评估LLMs性能的一组问题。
• Eval_Resume: 用于角色扮演评估的角色简历集合。

评估维度

提供了六个综合维度来评估LLMs的角色扮演性能：

1. 角色一致性 (CC)
   • 与角色背景的一致性。
   • 与历史朝代背景的一致性。
2. 对话能力 (DA)
   • 对话的连贯性和逻辑性。
   • 对话中的互动性。
3. 角色吸引力 (CA)
   • 角色的魅力和吸引力。
   • 互动中的情感影响。
4. 情感表达与智力深度 (EI)
   • 真实的情感表达。
   • 智力和哲学洞察力。
5. 创造力与角色深度扩展 (CR)
   • 角色个性和创新思维。
   • 角色的复杂性和进一步发展。
6. 文化与历史适宜性 (CHA)
   • 语言风格与角色身份和历史时代的匹配。
   • 与时代的历史和文化背景的一致性。

使用Demo_Baijia进行微调

使用 Demo_Baijia 进行监督微调（SFT），并在 Hugging Face 上发布了适配器模型。模型链接如下：

BaiJia_Demo Adapter on Hugging Face

微调后的评估结果

使用 Demo_Baijia 数据进行 SFT 后，适配器的性能基于六个关键维度进行了评估。下表显示了基础模型（Qwen）和微调模型（BaiJia_Demo）的得分及其改进百分比：

维度	Qwen 得分	BaiJia_Demo 得分	改进百分比 (%)
CC	4.10	4.41	7.56%
DA	4.20	4.30	2.38%
CA	4.04	4.18	3.47%
EI	4.67	4.69	0.49%
CR	3.94	4.04	2.53%
CHA	4.39	4.48	2.05%

这些结果表明，BaiJia_Demo 微调适配器在所有维度上的能力都有所提高，特别是在 角色一致性 (CC) 和 角色吸引力 (CA) 方面有显著提升。

使用说明

1. 使用 Demo_Baijia 作为 SFT 的数据集。
2. 结合 Eval_Question 和 Eval_Resume 来评估语言模型的角色扮演能力。
3. 基于上述六个关键维度评估模型。

引用

如果本项目对您有帮助，请考虑引用我们的论文：

bibtex @misc{bai2024baijia, title={BaiJia: A Large Scale Role-Playing Agent Corpus of Chinese Historical Characters}, author={Ting Bai and Jiazheng Kang and Jiayang Fan}, year={2024}, eprint={2412.20024}, archivePrefix={arXiv}, primaryClass={cs.AI} }

搜集汇总

数据集介绍

构建方式

BaiJia数据集的构建聚焦于中国历史人物角色扮演，旨在为大语言模型（LLMs）提供高质量、低资源的数据支持。该数据集通过收集和整理历史人物的背景信息、对话内容及角色简历，构建了一个涵盖丰富历史背景和文化内涵的语料库。数据集的构建过程包括对历史文献的深度挖掘、角色背景的精准还原以及对话内容的逻辑编排，确保数据的多样性和真实性。

特点

BaiJia数据集的特点在于其多维度的评估体系，涵盖角色一致性、对话能力、角色吸引力、情感表达与智力深度、创造力与角色深度扩展以及文化与历史适宜性六大维度。这些维度不仅为模型提供了全面的评估标准，还通过精细化的数据标注和结构化设计，显著提升了模型在角色扮演任务中的表现。此外，数据集还提供了公开的Demo_Baijia部分，便于研究者进行实验和评估。

使用方法

使用BaiJia数据集时，研究者可利用Demo_Baijia进行监督微调（SFT），并通过Eval_Question和Eval_Resume对模型的角色扮演能力进行评估。评估过程需基于六大关键维度，确保模型在角色一致性、对话流畅性及文化适宜性等方面的表现。微调后的模型可通过Hugging Face平台获取，进一步应用于历史人物角色扮演任务中。

背景与挑战

背景概述

BaiJia数据集是一个专注于中国历史人物角色扮演的大规模语料库，旨在通过提供高质量、低资源的数据来增强大型语言模型（LLMs）的角色扮演能力。该数据集由Ting Bai、Jiazheng Kang和Jiayang Fan等研究人员于2024年创建，主要研究问题集中在如何通过历史人物的背景和对话来提升语言模型的文化和历史一致性。BaiJia的发布为自然语言处理领域，特别是角色扮演和对话生成任务，提供了重要的数据支持，推动了相关技术的发展。

当前挑战

BaiJia数据集在构建和应用过程中面临多重挑战。首先，历史人物的角色扮演需要模型在对话中保持高度的文化一致性，这对语言模型的历史知识储备和语境理解能力提出了极高要求。其次，数据集的构建需要大量高质量的历史人物对话和背景信息，而这些信息的获取和标注过程复杂且耗时。此外，评估模型的角色扮演能力时，如何设计全面且客观的评价维度也是一个重要挑战。BaiJia通过引入六个关键评估维度（如角色一致性、对话能力等）来应对这些问题，但仍需进一步优化以提升模型的综合表现。

常用场景

经典使用场景

BaiJia数据集在角色扮演代理领域具有广泛的应用，尤其是在提升大型语言模型（LLMs）的角色扮演能力方面。通过提供高质量、低资源的中文历史人物数据，BaiJia能够帮助模型在角色一致性、对话能力和文化历史适宜性等方面进行优化。经典的使用场景包括利用Demo_Baijia进行监督微调（SFT），并结合Eval_Question和Eval_Resume对模型的表现进行多维度评估。

实际应用

在实际应用中，BaiJia数据集被广泛用于开发具有历史人物角色扮演能力的智能对话系统。例如，在教育领域，该数据集可以用于开发历史人物模拟器，帮助学生通过与历史人物的对话学习历史知识。在娱乐产业，BaiJia可以用于开发历史题材的角色扮演游戏，增强玩家的沉浸感。此外，该数据集还可用于文化传播领域，通过模拟历史人物的对话，向公众传播中国传统文化。

衍生相关工作

BaiJia数据集衍生了许多相关的研究工作。例如，基于该数据集开发的BaiJia_Demo适配器模型在Hugging Face平台上发布，成为许多研究者进行角色扮演代理研究的基础工具。此外，该数据集的多维度评估标准也被其他研究项目借鉴，用于评估不同语言模型在角色扮演任务中的表现。这些衍生工作不仅推动了角色扮演代理领域的发展，还为其他相关领域的研究提供了新的思路和方法。