遇见数据集

hhhwmws/jiumozhi

收藏
Hugging Face2023-09-03 更新2024-03-04 收录
官方服务:

资源简介:

--- license: cc-by-4.0 task_categories: - text-generation language: - zh size_categories: - 1K<n<10K --- 支持ChatHaruhi2 的鸠摩智数据,可以使用如下方式调用 ```python from chatharuhi import ChatHaruhi chatbot = ChatHaruhi( role_from_hf = 'hhhwmws/jiumozhi', \ llm = 'openai') response = chatbot.chat(role='萧峰', text = '是我!') print(response) ``` 上传者: 米唯实 更具体的信息,见 [ChatHaruhi](https://github.com/LC1332/Chat-Haruhi-Suzumiya) 欢迎加入我们的 [众筹角色创建项目](https://github.com/LC1332/Chat-Haruhi-Suzumiya/tree/main/characters/novel_collecting) ### Citation引用 Please cite the repo if you use the data or code in this repo. ``` @misc{li2023chatharuhi, title={ChatHaruhi: Reviving Anime Character in Reality via Large Language Model}, author={Cheng Li and Ziang Leng and Chenxi Yan and Junyi Shen and Hao Wang and Weishi MI and Yaying Fei and Xiaoyang Feng and Song Yan and HaoSheng Wang and Linkang Zhan and Yaokai Jia and Pingyu Wu and Haozhen Sun}, year={2023}, eprint={2308.09597}, archivePrefix={arXiv}, primaryClass={cs.CL} } ```

许可证:CC-BY-4.0 任务类别:文本生成 语言:中文 数据规模:1000 < n < 10000 本数据集为适配ChatHaruhi2的鸠摩智角色数据,可通过以下方式调用: python from chatharuhi import ChatHaruhi chatbot = ChatHaruhi( role_from_hf = 'hhhwmws/jiumozhi', llm = 'openai') response = chatbot.chat(role='萧峰', text = '是我!') print(response) 上传者:米唯实 更多详细信息,请参阅 [ChatHaruhi](https://github.com/LC1332/Chat-Haruhi-Suzumiya) 欢迎加入我们的 [众筹角色创建项目](https://github.com/LC1332/Chat-Haruhi-Suzumiya/tree/main/characters/novel_collecting) ### 引用声明 若您使用本数据集或代码,请引用该仓库。 @misc{li2023chatharuhi, title={ChatHaruhi: Reviving Anime Character in Reality via Large Language Model}, author={Cheng Li and Ziang Leng and Chenxi Yan and Junyi Shen and Hao Wang and Weishi MI and Yaying Fei and Xiaoyang Feng and Song Yan and HaoSheng Wang and Linkang Zhan and Yaokai Jia and Pingyu Wu and Haozhen Sun}, year={2023}, eprint={2308.09597}, archivePrefix={arXiv}, primaryClass={cs.CL} }

提供机构:
hhhwmws
原始信息汇总

数据集概述

许可证

  • 该数据集遵循 CC BY 4.0 许可证。

任务类别

  • 该数据集适用于 文本生成 任务。

语言

  • 数据集包含的语言为 中文。

数据规模

  • 数据集的规模为 1K<n<10K。

使用示例

  • 数据集可用于支持 ChatHaruhi2 的鸠摩智角色。调用示例如下: python from chatharuhi import ChatHaruhi

    chatbot = ChatHaruhi( role_from_hf = hhhwmws/jiumozhi, llm = openai)

    response = chatbot.chat(role=萧峰, text = 是我!) print(response)

引用

  • 使用该数据集或代码时,请引用以下内容:

    @misc{li2023chatharuhi, title={ChatHaruhi: Reviving Anime Character in Reality via Large Language Model}, author={Cheng Li and Ziang Leng and Chenxi Yan and Junyi Shen and Hao Wang and Weishi MI and Yaying Fei and Xiaoyang Feng and Song Yan and HaoSheng Wang and Linkang Zhan and Yaokai Jia and Pingyu Wu and Haozhen Sun}, year={2023}, eprint={2308.09597}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总
数据集介绍
hhhwmws/jiumozhi 数据集图片
构建方式
在自然语言处理与角色扮演对话系统交叉研究的背景下,hhhwmws/jiumozhi数据集专为支持ChatHaruhi2框架而构建。该数据集通过系统化收集《天龙八部》中鸠摩智的经典对白与人物设定,结合众筹角色创建项目的社区贡献,经人工筛选与标注,形成涵盖角色语言风格、性格特征及知识背景的结构化语料。构建过程注重角色一致性与对话逻辑,确保数据能准确反映鸠摩智的独特口吻与行为模式。
特点
该数据集的核心特点在于其高度角色化与场景适配性。数据规模在1千至1万条之间,以中文文本生成任务为导向,采用CC-BY-4.0许可协议,便于学术研究与二次开发。每条数据均围绕鸠摩智的江湖身份、武功描述及互动语境精心设计,支持多轮对话的上下文连贯性,为大型语言模型提供细粒度的角色扮演训练素材,同时兼顾幽默与戏剧性表达。
使用方法
使用该数据集时,推荐集成ChatHaruhi2库进行角色加载。用户可通过Python调用`ChatHaruhi`类并指定`role_from_hf='hhhwmws/jiumozhi'`参数,结合OpenAI等语言模型实现交互式对话。在调用`chat`方法时,需传入对话角色(如'萧峰')及文本内容,系统即可基于鸠摩智的语料生成符合其个性的回复。具体操作可参考ChatHaruhi官方文档及社区众筹项目指南。
背景与挑战
背景概述
在大型语言模型(LLM)蓬勃发展的浪潮中,角色扮演对话系统逐渐成为探索人机交互与叙事智能的前沿方向。由Cheng Li、米唯实等研究人员于2023年提出的ChatHaruhi项目,旨在通过精细化数据构建,赋予LLM复现经典虚拟角色语言风格与人格特质的能力。该数据集聚焦于《天龙八部》中的经典反派角色鸠摩智,由研究者从原著文本中系统提取对话样本与性格特征,形成规模在1K至10K之间的高质量中文语料库。其核心研究问题在于如何通过有限但精准的角色数据,驱动模型在开放域对话中保持角色一致性,为文学IP的数字化复活提供了可复现的范式。该工作发表于arXiv(2308.09597),在计算语言学界引发了关于角色驱动式AI叙事的热议,尤其为中文虚拟角色数据集建设树立了标杆。
当前挑战
当前数据集面临的核心挑战在于领域问题的复杂性:角色对话生成需同时解决身份一致性、情感连贯性与语境适应性三重难题,鸠摩智作为兼具狂傲与狡诈的复杂反派,其语言模式需在佛理机锋与暴力威胁间精准切换,这对模型的理解与生成能力构成严峻考验。在构建过程中,研究者遭遇了双重瓶颈:其一,原著中鸠摩智的对话样本有限(不足万条),如何从稀缺文本中提取足量且不重复的训练实例成为难点;其二,角色语言高度依赖《天龙八部》的江湖语境与佛教术语,数据清洗时需手工标注古白话与专有名词,避免模型产生脱离原著的泛化偏差。此外,开源社区众筹的角色创建模式虽降低了数据收集门槛,却引入了质量管控的挑战,不同贡献者标注的对话风格可能存在隐性冲突,需通过迭代校准维持数据集的整体一致性。
常用场景
经典使用场景
在角色驱动型对话生成领域,hhhwmws/jiumozhi数据集为构建具有特定性格与背景的虚拟角色语言模型提供了核心训练资源。该数据集聚焦于《天龙八部》中鸠摩智这一经典文学形象,通过精心整理的对话语料,使大语言模型能够精准捕捉其高傲、机智且略带狡黠的语言风格。研究者可借助该数据集,结合ChatHaruhi框架,实现从文本到角色人格的映射,从而在交互式叙事、虚拟角色扮演等场景中,生成高度契合原著的个性化回复,为文学角色数字化复活开辟了全新路径。
实际应用
在实际应用层面,该数据集支撑了交互式娱乐与数字人技术的落地。游戏开发者可将其集成至非玩家角色(NPC)对话系统,使虚拟角色如鸠摩智能够根据玩家输入动态生成符合原著设定的回应,极大增强沉浸式体验。此外,智能教育领域可借助此类数据集构建历史或文学人物的虚拟导师,通过拟人化对话辅助文化传承。其轻量化设计(1K-10K样本)亦降低了部署门槛,使中小团队也能快速打造具有鲜明个性的对话智能体。
衍生相关工作
该数据集衍生了一系列重要学术与工程成果,最核心的当属ChatHaruhi框架的提出(Li et al., 2023),其通过角色微调与上下文检索技术,实现了对鸠摩智等文学形象的精准复现。后续工作进一步拓展了数据集的跨角色迁移能力,探索了多角色共演对话系统的构建方法。在众包共创模式下,社区更衍生出针对金庸宇宙中其他角色的扩展数据集,形成了角色对话领域的标准化处理流程,为大规模虚拟人格语料库的建设奠定了方法论基础。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务