PERCY

PERCY数据集是由悉尼科技大学开发的，旨在捕捉多模态信息的人机交互对话数据集。该数据集包含30名参与者的真实交互数据，涵盖了个人兴趣、情感状态等多方面的信息。数据集的创建过程包括参与者填写问卷、与机器人进行对话，并利用GPT-4生成基于参与者情感状态和个人信息的相关回应。PERCY数据集的应用领域广泛，主要用于训练能够提供个性化和情感感知的人机交互系统，旨在解决传统对话系统在深度交互和情感理解方面的不足。

The PERCY Dataset is a human-computer interaction dialogue dataset developed by the University of Technology Sydney for capturing multimodal information. This dataset contains real interaction data from 30 participants, covering diverse information such as personal interests and emotional states. The dataset creation process involves participants completing questionnaires, engaging in conversations with robots, and using GPT-4 to generate relevant responses tailored to the participants' emotional states and personal information. The PERCY Dataset has a wide range of application scenarios, mainly used for training human-computer interaction systems that can provide personalized and emotion-aware services, aiming to address the shortcomings of traditional dialogue systems in deep interaction and emotional understanding.

搜集汇总

数据集介绍

构建方式

PERCY数据集的构建基于真实的人机交互场景，通过招募30名参与者，收集了丰富的多模态数据。首先，参与者填写了一份包含个人兴趣、爱好等信息的问卷，构建了详细的个人档案。随后，参与者与搭载PERCY系统的ARI机器人进行对话，利用GPT-4生成基于参与者情感状态和个人信息的内容相关且富有同理心的回应。整个过程通过面部表情识别、情感分析和语音识别等多模态技术，捕捉了参与者的情感状态和对话内容，最终形成了包含文本、视频和音频的多模态数据集。

特点

PERCY数据集的显著特点在于其多模态性和情感感知能力。该数据集不仅包含了对话的文本记录，还通过视频和音频捕捉了参与者的面部表情、语音语调等非语言信息，提供了丰富的情感线索。此外，数据集中的对话内容具有高度的个性化和情感相关性，能够为研究个性化对话系统和情感智能提供宝贵的资源。数据集的多样性体现在参与者的年龄、性别和文化背景的广泛分布，确保了数据的代表性和广泛适用性。

使用方法

PERCY数据集可广泛应用于情感智能、个性化对话系统、人机交互等领域的研究。研究者可以利用该数据集训练和评估情感识别模型、对话生成模型以及个性化对话系统。通过分析对话中的情感标签、文本内容和非语言线索，研究者可以深入探索如何提升对话系统的情感感知能力和个性化响应。此外，数据集的多模态特性为跨模态学习提供了丰富的素材，支持开发能够同时处理文本、语音和视觉信息的综合性对话系统。

背景与挑战

背景概述

随着对话代理在日常生活中的普及，其与人类进行深度互动的能力仍显不足。尽管如此，捕捉人机交互对话中多模态信息的可用数据集却十分稀缺。为填补这一空白，Mohammed Althubyani等研究人员于2023年在悉尼科技大学开发了PERCY数据集，该数据集专注于个性化和情感感知的人机交互。PERCY数据集通过30名参与者的真实互动，收集了丰富的多模态数据，涵盖个人兴趣、情感状态等信息。该数据集的创建旨在推动人机交互研究，特别是通过结合情感和个性化信息，提升对话系统的自然性和情感共鸣。

当前挑战

PERCY数据集的构建面临多重挑战。首先，如何在开放域对话中保持个性化和情感一致性是一个难题，尤其是在处理复杂的人类情感时，系统需在对话中保持连贯性和相关性。其次，多模态数据的整合，包括面部表情、语音语调等，要求系统能够实时分析并生成情感相关的响应，这对情感识别和语言模型的协同工作提出了高要求。此外，数据集的规模和多样性也受到限制，尽管已有30名参与者，但未来仍需扩展以覆盖更广泛的人群和情感场景。

常用场景

经典使用场景

PERCY数据集的经典使用场景主要集中在个性化和情感感知的对话系统研究中。该数据集通过捕捉多模态信息，包括语音、面部表情和情感状态，为研究人员提供了丰富的资源，用于训练和评估能够理解并响应用户情感的对话系统。这些系统不仅能够进行流畅的对话，还能根据用户的情感状态提供同理心回应，从而增强人机交互的自然性和深度。

实际应用

PERCY数据集在实际应用中具有广泛的前景，特别是在需要情感感知和个性化交互的场景中。例如，在心理健康支持、客户服务和教育辅导等领域，PERCY数据集可以用于训练机器人或虚拟助手，使其能够根据用户的情感状态提供个性化的支持和回应。此外，该数据集还可应用于智能家居、娱乐互动等场景，提升用户体验，增强人机交互的自然性和情感共鸣。

衍生相关工作

PERCY数据集的发布催生了一系列相关研究工作，特别是在情感感知对话系统和个性化人机交互领域。研究人员利用该数据集开发了多种情感识别和对话生成模型，进一步提升了对话系统的情感理解和个性化响应能力。此外，PERCY的成功也激发了对多模态数据融合技术的研究，推动了情感计算和自然语言处理领域的技术进步，为未来更智能、更人性化的对话系统奠定了基础。