KaraKaraWitch/PIPPA-ShareGPT-formatted

PIPPA（Personal Interaction Pairs between People and AI）是一个部分合成、社区贡献的开源对话和角色扮演数据集，源自Pygmalion项目提交的日志子集。数据集包含超过100万行对话，分布在26,000个对话中，涉及1,000多个独特角色。数据集以JSONL文件形式提供，每个JSON片段代表一个完整的对话，包含提交时间戳、角色类别、角色ID、角色名称、角色问候语、角色定义、角色描述和对话内容等信息。数据集还提供了多个变体文件，包括原始数据集、去重版本和格式化版本。

PIPPA (Personal Interaction Pairs between People and AI) is a partially synthetic, community-contributed open-source dialogue and role-playing dataset derived from the log subset submitted by the Pygmalion project. The dataset contains over 1 million dialogue lines across 26,000 conversations, involving more than 1,000 unique characters. It is provided in JSONL format, where each JSON entry represents a complete conversation, including information such as submission timestamp, character category, character ID, character name, character greeting, character definition, character description, and dialogue content. The dataset also offers multiple variant files, including the original dataset, deduplicated version, and formatted version.

原始信息汇总

PIPPA - Personal Interaction Pairs between People and AI

数据集概述

PIPPA（Personal Interaction Pairs between People and AI）是一个部分合成、社区贡献的开放源代码对话和角色扮演数据集，由提交给Pygmalion项目的日志子集生成。该数据集仅包含提交者同意重新分发的有效对话日志，并已尽力删除或修改可能包含在PIPPA中的任何个人信息。

数据集内容

PIPPA包含超过100万行对话，分布在26,000个对话中，涉及用户与流行聊天机器人网站“Character.AI”及其大型语言模型之间的对话。数据集中有超过1,000个独特的角色模拟，包括真实和虚构角色，使PIPPA和在其上微调的LLM能够适应多种角色扮演领域。

数据格式

数据集以JSONL文件格式表示，每个JSON片段代表一个完整的对话，包含以下数据：

• submission_timestamp：对话提交到项目的Unix时间戳（以毫秒为单位）。
• categories：在Character.AI网站上分配给角色的类别，如果没有分配则为null。
• bot_id：分配给网站上用户正在与之对话的特定角色的唯一ID。
• bot_name：角色的名称。
• bot_greeting：角色对用户的开场白，这是对话中的第一个话语。
• bot_definitions：在角色创建者的Definitions字段中输入的内容，通常包含用户和角色之间的示例对话，以正确模拟角色。
• bot_description：在角色创建者的Description字段中输入的内容，通常包含对角色的简要概述和重要细节。
• conversation：用户和模型之间的对话，表示为字典列表，每个字典包含两个键值对：message（话语本身）和is_human（指定话语是由用户还是LLM生成）。

文件版本

数据集发布为多个版本的JSONL文件：

• pippa.jsonl：原始数据集，几乎完全按照提交给我们的方式（除了由于删除个人身份信息而进行的修改）。
• pippa_deduped.jsonl：经过清理的PIPPA版本，删除了重复对话和少于三回合的对话。推荐使用此文件。
• pippa_metharme.jsonl：格式类似于Metharme教学模型的deduped PIPPA版本，可用作正确格式化PIPPA数据集的示例。

注意事项

PIPPA包含可能被视为“不适合工作场所”（NSFW）和/或性质严重令人不安的对话、主题和场景。仅使用PIPPA训练的模型可能倾向于生成限制级输出。

引用

如果使用此数据集，请考虑引用我们的工作： bibtex @misc{gosling2023pippa, title={PIPPA: A Partially Synthetic Conversational Dataset}, author={Tear Gosling and Alpin Dale and Yinhe Zheng}, year={2023}, eprint={2308.05884}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

在对话式人工智能领域，高质量的角色扮演数据集是提升模型拟人化能力的关键。PIPPA（Personal Interaction Pairs between People and AI）数据集源自Pygmalion项目，通过社区数月的大规模协作，收集了来自Character.AI聊天网站的用户与大型语言模型之间的对话日志。数据集仅包含提交者同意公开分享的有效对话记录，并经过严格去隐私化处理，移除或修改了可能含有的个人信息。最终数据集以JSONL格式呈现，每个JSON片段代表一次完整对话，包含提交时间戳、角色类别、角色ID与名称、角色问候语、角色定义（通常包含示例对话以引导模型模仿角色）、角色描述以及用户与模型之间的对话序列。此外，数据集还提供了去重版本（pippa_deduped）和类似Metharme格式的版本（pippa_metharme），便于研究者根据需求选用。

特点

PIPPA数据集的核心特色在于其规模与多样性：它包含超过一百万行对话，覆盖约26,000次对话，涉及超过1,000种独特角色形象，模拟真实与虚构人物，能够适应多种角色扮演场景。数据集中的对话内容、主题和情境可能包含不适宜工作场合（NSFW）或具有强烈冲击性的元素，因此训练出的模型可能倾向于生成成人内容，这一特性要求使用者在应用时需谨慎评估。此外，数据集提供了多种变体，包括原始版本、去重版本以及格式化版本，其中去重版本移除了重复对话和少于三轮的对话，推荐作为主要使用文件，以提升数据质量和训练效率。

使用方法

使用PIPPA数据集时，研究者可以通过HuggingFace的datasets库便捷加载，例如执行`dataset = load_dataset("PygmalionAI/PIPPA", 'pippa_deduped')`来获取去重版本，默认加载即为该版本。数据集以JSONL格式存储，每个对话条目包含结构化的字段，如角色定义需参照论文附录A进行预处理，以适配Character.AI的特殊格式。对于希望将数据用于模型微调的用户，推荐使用pippa_metharme变体，其格式与Metharme指令模型兼容，可作为格式化示例。此外，数据集支持通过指定文件名（不含扩展名）作为参数来选择不同变体，便于灵活应用于不同的研究或开发流程。

背景与挑战

背景概述

在对话系统与角色扮演人工智能领域，高质量的人机交互数据集是推动模型拟人化与情境适应能力的关键资源。PIPPA（Personal Interaction Pairs between People and AI）数据集由Tear Gosling、Alpin Dale和Yinhe Zheng于2023年创建，依托Pygmalion项目，通过大规模社区协作从Character.AI平台收集用户与语言模型的真实对话日志，历经数月整理而成。该数据集包含超过100万行对话，涵盖26,000次交互，涉及1000余种拟人化角色，旨在解决开放域角色扮演对话中数据稀缺与多样性不足的核心问题。其发布为研究者提供了丰富的多角色、多场景交互样本，显著推动了角色扮演语言模型的微调与评估，成为该领域的重要基准资源。

当前挑战

PIPPA数据集面临的核心挑战在于其内容的高度敏感性与隐私保护需求。首先，对话中包含大量‘不适合工作场合’（NSFW）及潜在令人不安的主题，导致基于该数据集训练的模型易生成不当输出，需谨慎处理伦理与安全边界。其次，构建过程中需应对个人可识别信息的脱敏难题，尽管已尽力修改，仍可能存在未彻底清理的隐私泄露风险。此外，数据源自单一平台，角色定义格式独特（如Character.AI的特定标记），需预处理才能适配通用模型，增加了跨平台迁移的复杂度。最后，对话长度不均、重复样本及低质量交互的存在，要求进行去重与筛选，以提升数据集的可用性与训练效果。

常用场景

经典使用场景

PIPPA（Personal Interaction Pairs between People and AI）数据集汇聚了超过100万行对话，涵盖约26,000段人机交互记录，源自Character.AI平台用户与语言模型之间的真实角色扮演对话。其经典使用场景在于微调大型语言模型，使其具备多领域角色扮演能力。研究者可利用该数据集的对话结构、角色定义与人格描述，训练模型模拟特定虚构或现实人物，从而提升模型在开放式、情感化交互中的自然度与一致性。

解决学术问题

该数据集解决了角色扮演对话系统中数据稀缺与多样性不足的关键学术问题。传统对话数据集多聚焦于任务型或日常闲聊，缺乏对复杂人格设定与多轮角色互动情境的覆盖。PIPPA提供了逾千种独特人格的对话样本，支持研究者在可控条件下探索语言模型在个性化、情感化及非安全场景中的行为表现，推动了对话系统在个性化生成、人格一致性保持及安全对齐等方向的理论进展。

衍生相关工作

PIPPA数据集催生了多项经典研究工作，包括Pygmalion系列角色扮演模型的开发与优化，以及Metharme指令模型的训练范式。相关论文《PIPPA: A Partially Synthetic Conversational Dataset》（Gosling et al., 2023）系统阐述了数据集的构建方法与伦理考量，后续工作则在此基础上探索了对话去重、格式标准化及安全对齐策略，形成了角色扮演对话领域的重要基准与参考资源。