silk-road/Haruhi-Baize-Role-Playing-Conversation

--- license: cc-by-4.0 task_categories: - text-generation language: - zh --- ## Haruhi-Zero的Conversation训练数据 我们计划拓展ChatHaruhi，从Few-shot到Zero-shot，这个数据集记录使用各个（中文）角色扮演api进行Baize式相互聊天后得到的数据结果 ids代表聊天的时候两张bot的角色卡片， 角色卡片的信息可以在https://huggingface.co/datasets/silk-road/Haruhi-Zero-RolePlaying-movie-PIPPA 中找到 并且对于第一次出现的id0，也会在prompt字段中进行记录。 聊天的时候id和ids的卡片进行对应 - openai 代表两个聊天的bot都使用openai - GLM 代表两个聊天的bot都使用CharacterGLM - Claude 代表两个聊天的bot都使用Claude - Claude_openai 代表id0的使用Claude， id1的使用openai - Baichuan 代表两个聊天的bot都使用Character-Baichuan-Turbo 目前百川有很严重的访问限制，如果谁有并发更大的百川的接口，可以联系我们借用一下(邮箱[e-mail]) 或者跑下面的代码，(start_id = 10590 end_id = 12708)反馈给我 https://github.com/LC1332/Zero-Haruhi/blob/main/notebook/GenerateBaizeBaichuan.ipynb 目前平衡生成时间、成本和效果来看，最终训练准备先采用openai和Claude_openai， 这两者已经采集了15000/2000的数据，正在进一步生成更多数据 主项目链接 https://github.com/LC1332/Chat-Haruhi-Suzumiya ## API和服务器 如果你有OpenAI、Claude或者Character-Baichuan的api资源 可以参与进来的话，方便联系我一下 发邮件或者在知乎 https://www.zhihu.com/people/cheng-li-47 留一下您的微信 如果你有足够的训练资源去tuning 13B以及Yi 34B规模的模型（2000长度），也可以联系我加入到项目后面的训练中。 如果你能够组织Human Feedback的比较标注，也可以联系我们 整体计划 https://o9z6tor1qu.feishu.cn/docx/LxTWdGnP2oQ0oUx8H0wcmyZCnrb 后期如果有空的话可以进一步拿各家api的结果做一下RLHF或者DPO。license: cc-by-4.0 task_categories: - text-generation language: - zh ## Haruhi-Zero's Conversation Training Data We plan to expand ChatHaruhi from Few-shot to Zero-shot scenarios. This dataset records the outcomes of mutual chat sessions conducted in a Baize-style manner between two bots using various Chinese large language model APIs for role-playing. The `ids` field denotes the role cards of the two bots during the chat. Detailed information of the role cards can be accessed at https://huggingface.co/datasets/silk-road/Haruhi-Zero-RolePlaying-movie-PIPPA. Moreover, the first occurrence of id0 will also be documented in the `prompt` field. The id and its corresponding role card are matched during the chat. ### API Category Definitions - `openai`: Both chatting bots utilize OpenAI models - `GLM`: Both chatting bots utilize CharacterGLM - `Claude`: Both chatting bots utilize Claude models - `Claude_openai`: id0 uses Claude, while id1 uses OpenAI - `Baichuan`: Both chatting bots utilize Character-Baichuan-Turbo Currently, Baichuan API has extremely strict access restrictions. If you have Baichuan API interfaces with higher concurrency limits, please contact us for borrowing (email: [e-mail]). Alternatively, you can run the following code snippet (start_id = 10590, end_id = 12708) and share the results with us. The corresponding Jupyter notebook is available at https://github.com/LC1332/Zero-Haruhi/blob/main/notebook/GenerateBaizeBaichuan.ipynb Considering the balance of generation time, cost and performance, we initially intend to use OpenAI and Claude_openai datasets for training. 15,000 out of 20,000 samples for these two categories have been collected, and we are currently generating additional data. Main project repository: https://github.com/LC1332/Chat-Haruhi-Suzumiya --- ## API and Server Resources If you have access to OpenAI, Claude or Character-Baichuan APIs and wish to participate in the project, please contact us via email or leave your WeChat ID on Zhihu at https://www.zhihu.com/people/cheng-li-47. If you possess sufficient training resources to fine-tune 13B and Yi 34B scale models (with a sequence length of 2000 tokens), you are welcome to join us for the subsequent training phase. If you are able to organize human feedback annotation work, please also contact us. Overall project plan: https://o9z6tor1qu.feishu.cn/docx/LxTWdGnP2oQ0oUx8H0wcmyZCnrb If time permits in the future, we will further conduct RLHF or DPO training using the results from various API models.

原始信息汇总

Haruhi-Zero的Conversation训练数据

数据集描述

• 任务类别: 文本生成
• 语言: 中文

数据集内容

• 角色卡片: 数据集记录使用各个（中文）角色扮演API进行Baize式相互聊天后得到的数据结果。角色卡片的信息可以在silk-road/Haruhi-Zero-RolePlaying-movie-PIPPA中找到。
• ID和IDS: ids代表聊天时两张bot的角色卡片，对于第一次出现的id0，会在prompt字段中进行记录。

使用的API

• openai: 两个聊天的bot都使用openai
• GLM: 两个聊天的bot都使用CharacterGLM
• Claude: 两个聊天的bot都使用Claude
• Claude_openai: id0使用Claude，id1使用openai
• Baichuan: 两个聊天的bot都使用Character-Baichuan-Turbo

数据生成

• 当前状态: 目前平衡生成时间、成本和效果来看，最终训练准备先采用openai和Claude_openai，这两者已经采集了15000/2000的数据，正在进一步生成更多数据。

联系方式

• 邮箱: [e-mail]
• 代码链接: GenerateBaizeBaichuan.ipynb
• 主项目链接: Chat-Haruhi-Suzumiya

搜集汇总

数据集介绍

构建方式

在角色扮演对话生成领域，Haruhi-Baize-Role-Playing-Conversation数据集的构建采用了多模型交互的自动化生成策略。通过整合OpenAI、Claude及Character-Baichuan等先进语言模型，该数据集模拟了不同虚拟角色间的对话场景。具体而言，研究者设计了基于角色卡片的对话框架，其中每个角色对应特定的模型配置，如Claude与OpenAI的组合或单一模型驱动，从而生成多样化的对话序列。数据采集过程中，通过API调用实现了大规模并行生成，确保了对话内容的丰富性与逻辑连贯性，为后续模型训练提供了高质量的语料基础。

使用方法

Haruhi-Baize-Role-Playing-Conversation数据集适用于文本生成与角色扮演对话系统的开发与评估。研究者可通过HuggingFace平台直接访问数据集，利用其结构化字段如角色ID、提示词及模型类型进行模型训练或微调。具体应用中，可提取对话序列作为训练样本，结合角色卡片信息构建上下文感知的生成任务。数据集还支持多模型对比分析，用户可根据模型标签筛选特定配置的对话，以评估不同语言模型在角色扮演场景中的表现。此外，项目代码库提供了数据生成与处理的示例脚本，便于用户复现或扩展数据采集流程。

背景与挑战

背景概述

在人工智能对话系统领域，角色扮演对话生成技术旨在模拟特定角色的语言风格与行为模式，以增强人机交互的沉浸感与个性化。Haruhi-Baize-Role-Playing-Conversation数据集由silk-road团队于近期创建，核心研究问题聚焦于从Few-shot到Zero-shot的角色扮演对话生成，通过集成多种大型语言模型API（如OpenAI、Claude、Baichuan等）进行自动化对话交互，以构建高质量的中文角色扮演对话语料。该数据集作为ChatHaruhi项目的延伸，推动了角色扮演对话系统在零样本学习场景下的发展，为后续模型训练与评估提供了关键数据支持。

当前挑战

该数据集致力于解决角色扮演对话生成中的零样本学习挑战，要求模型在未接触特定角色先验信息的情况下，准确模拟其语言特征与对话逻辑，这对模型的泛化能力与上下文理解提出了较高要求。在构建过程中，团队面临多重困难：不同API（如Baichuan）的访问限制与并发问题影响了数据采集效率；多模型交互的协调与成本控制需精细平衡；数据质量依赖于API输出的稳定性与一致性，而角色卡片的对齐与prompt设计增加了数据处理的复杂性。此外，后续的模型训练与人类反馈标注资源亦构成持续挑战。

常用场景

经典使用场景

在角色扮演对话生成领域，Haruhi-Baize-Role-Playing-Conversation数据集通过模拟不同角色间的多轮对话，为研究者提供了丰富的交互式文本生成素材。该数据集的核心应用场景在于训练和评估生成式对话模型，特别是针对中文语境下的角色扮演任务。通过整合多种大型语言模型如OpenAI、Claude和Baichuan的生成结果，数据集能够模拟真实对话中的多样性和复杂性，为模型在零样本或少样本条件下的泛化能力提供基准测试平台。

解决学术问题

该数据集主要解决了角色扮演对话生成中的若干关键学术问题，包括如何提升模型在零样本条件下的角色一致性、对话连贯性以及情感表达准确性。通过提供多模型生成的对话数据，研究者能够深入分析不同生成策略对对话质量的影响，从而推动对话系统在个性化与适应性方面的理论进展。其意义在于为中文角色扮演任务建立了标准化评估框架，促进了生成式人工智能在自然语言处理领域的应用深化。

实际应用

在实际应用中，Haruhi-Baize-Role-Playing-Conversation数据集可被用于开发智能虚拟助手、游戏角色对话系统以及教育领域的互动式学习工具。通过利用数据集中的多角色对话模式，开发者能够构建更具沉浸感和情感智能的对话界面，提升用户体验。例如，在娱乐产业中，该数据集支持创建动态角色互动，增强叙事深度；在教育场景中，则有助于设计个性化辅导对话，促进学习效果。

数据集最近研究

最新研究方向

在角色扮演对话生成领域，Haruhi-Baize-Role-Playing-Conversation数据集正推动从Few-shot到Zero-shot范式的转变。该数据集通过集成多种大型语言模型如OpenAI、Claude和Character-Baichuan，模拟不同角色间的交互对话，为构建更具泛化能力的角色扮演系统提供了丰富语料。前沿研究聚焦于利用该数据集进行跨模型对话生成优化，探索模型间协作机制以提升对话的自然度和角色一致性。热点事件包括社区对百川模型接口资源的协同调用，以及后续计划中的强化学习人类反馈和直接偏好优化，这些方向有望显著增强对话系统的适应性和用户体验，对推动开放域角色扮演人工智能的发展具有重要实践意义。