ChatGPT Role-play Dataset (CRD)

ChatGPT角色扮演数据集（CRD）是由波特兰州立大学计算机科学系的研究团队创建的，包含85个独特的对话，总计1742条语句。该数据集通过手动标注用户动机和模型自然度，旨在探索人类与ChatGPT在正常和角色扮演对话场景中的互动。CRD数据集分为三个子集：普通对话、老板角色扮演和同学角色扮演，每个子集都旨在研究不同的社交和语言行为。该数据集的应用领域包括改进人机交互的自然性和效率，以及探索AI在模拟人类对话中的潜力。

ChatGPT Role-Playing Dataset (CRD) was developed by a research team from the Department of Computer Science, Portland State University. It contains 85 unique conversations, totaling 1,742 utterances. With manual annotations of user motivations and model naturalness, this dataset is designed to explore human-ChatGPT interactions in both normal and role-playing dialogue scenarios. The CRD dataset is split into three subsets: general conversation, boss role-play, and classmate role-play, each targeting the investigation of distinct social and linguistic behaviors. Potential applications of this dataset include improving the naturalness and efficiency of human-computer interaction, as well as exploring the potential of AI in simulating human conversations.

搜集汇总

数据集介绍

构建方式

在人机交互研究领域，大型语言模型如ChatGPT的对话能力虽已备受关注，但其在角色扮演情境中的表现仍缺乏系统性探索。为弥补这一空白，研究者构建了ChatGPT角色扮演数据集（CRD），通过招募57名参与者与ChatGPT进行自然对话及两种角色扮演（上司与同学）互动，共采集85段独特对话，涵盖1742条话语。所有对话均经三位语用学专家依据Grice合作原则进行人工标注，标注维度包括用户动机（如寻求帮助、好奇测试、玩笑等）与模型自然度（如是否自然、过度冗长、过于正式等），形成了首个融合用户意图与模型自然度标注的人机对话资源。

特点

该数据集的核心特色在于其多维度、细粒度的标注体系与对比性实验设计。用户动机标注涵盖8类意图（如对话维持、纠正、重置等），模型自然度则细分为12类标签（如AI声明、违反数量准则等），实现了对交互动态的深度刻画。尤为突出的是，数据集包含三种对比情境：无限制的普通对话（vanilla）与两种权力距离迥异的角色扮演（上司与同学），使得研究者能够系统分析社会变量（如权力、亲密度）对用户行为与AI回应自然度的影响。此外，所有标注均通过Fleiss' kappa一致性检验（0.63-0.80），确保了标签的可靠性。

使用方法

研究人员可利用CRD数据集开展多维度分析：首先，通过统计对话轮次长度、话语字数、提问频率等基础指标，量化不同情境下的交互模式差异；其次，结合用户动机与模型自然度的交叉标注，揭示特定意图（如对话维持）在不同情境下触发AI回应自然度的概率分布；再者，可运用话题建模（如BERTopic）与情感分析（如VADER）工具，探究主题丰富度与用户情绪演变规律。数据集已开源于GitHub平台，支持直接下载对话转录文本及完整标注文件，便于复现论文中的困惑度分析、相关性检验等研究。

背景与挑战

背景概述

近年来，以ChatGPT为代表的大规模交互式语言模型在诸多领域引发了革命性变革，然而其在自然对话与角色扮演场景中的行为模式仍未得到充分探索。为填补这一空白，波特兰州立大学与佩奇大学的研究团队于2023年构建了ChatGPT Role-play Dataset（CRD），该数据集囊括57名参与者与ChatGPT在常规及两种角色扮演情境（上司与同学）下的85段对话，共计1742条话语，并由语言学专家依据格莱斯语用学理论对用户动机与模型自然度进行了精细标注。CRD作为首个聚焦ChatGPT角色扮演能力的标注对话数据集，为深入理解人机交互中的意图识别、合作原则及社交变量（如权力距离、面子威胁）提供了宝贵的资源，对推动更自然、更有效的人机沟通研究具有里程碑式的意义。

当前挑战

CRD数据集所揭示的核心挑战体现在两个层面。首先，在领域问题层面，尽管ChatGPT在角色扮演情境中展现出接近半数的自然响应，但在无约束的常规对话中，其自然度仅达5.6%，暴露出模型在理解人类复杂意图（如讽刺、隐喻）与遵循格莱斯合作原则（尤其是数量准则与方式准则）方面的显著不足，用户常因模型过度冗长、过于刻板或频繁声明AI身份而感到挫败。其次，在构建过程中，研究团队面临了多维度挑战：需设计兼顾社交距离与权力差异的角色扮演提示以诱发真实互动，确保跨语言（涵盖15种不同母语）参与者的数据一致性，并由三名专家在282条话语上实现高信度（Fleiss' kappa 0.63-0.80）的标注，同时人工核查与匿名化处理以保护隐私，这些均对数据集的质量控制提出了严苛要求。

常用场景

经典使用场景

ChatGPT Role-play Dataset (CRD)作为首个聚焦于人类与ChatGPT在自然对话与角色扮演情境下交互行为的标注语料库，其经典使用场景在于系统性地剖析用户在与大型语言模型互动时的多样化动机（如寻求协助、测试系统、幽默表达等）以及模型回应的自然度。研究者通过对比普通对话模式与两种角色扮演设定（上司与同学）中的人类-AI交互，揭示了不同社会变量（权力距离、社交距离、强加程度）如何塑造对话的节奏、长度、提问频率及主题分布，为深入理解人机对话的语用学机制提供了独特的数据支撑。

解决学术问题

该数据集有效解决了当前研究领域对真实人机交互对话数据匮乏的困境，特别是在角色扮演这一新兴但未被充分探索的对话场景中。它系统性地回应了两个核心学术问题：用户在与ChatGPT互动时究竟怀揣何种交际意图，以及模型在何种程度上能够生成符合格莱斯合作原则的自然回应。通过精细的语用学标注（包括用户动机、模型自然度及反馈），CRD揭示了普通模式下模型自然度仅约5.6%，而角色扮演中自然度跃升至近50%的显著差异，从而为评估和改进LLM的对话自然性提供了量化基准与理论洞见。

衍生相关工作

CRD的发布催生了一系列衍生研究，包括基于用户动机与模型自然度关联性的深度分析（如探究不同动机下ChatGPT的自然回应概率）、利用困惑度与情感分析量化人机对话差异的方法论工作，以及针对角色扮演提示优化的后续探索。此外，该数据集还启发了跨文化交际研究，通过分析多语言背景参与者的交互模式，推动了面向特定社会语境（如权力不对称场景）的对话模型微调工作。这些衍生研究共同构建了从数据驱动到理论验证的完整研究链条，为人机对话领域的持续创新奠定了坚实基础。