UDIVA

UDIVA数据集是由巴塞罗那大学和计算机视觉中心创建的一个大型多模态多视角数据集，专注于非剧本化的面对面双人互动。该数据集包含147名参与者在实验室环境中进行的188个互动会话，总时长90.5小时，使用多种视听和生理传感器记录。数据集不仅包括参与者的社会人口统计信息、自我和同伴报告的个性特征，还包括内部状态和关系概况。UDIVA数据集旨在通过提供丰富的上下文元数据，填补现有数据集在情境和参与者多样性方面的空白，从而推动从个体和双人角度对人类交流的全面分析。该数据集的应用领域包括早期诊断和干预、增强远程存在和个性化代理等，旨在解决人类交流中的复杂问题。

The UDIVA dataset is a large-scale multimodal, multi-view dataset created by the University of Barcelona and the Computer Vision Center, focusing on unscripted face-to-face dyadic interactions. It comprises 188 interaction sessions involving 147 participants conducted in a laboratory setting, with a total duration of 90.5 hours, recorded using a variety of audiovisual and physiological sensors. The dataset includes not only the participants' sociodemographic information, self-reported and peer-reported personality traits, but also their internal states and relationship profiles. The UDIVA dataset aims to fill the gaps in existing datasets regarding contextual diversity and participant variability by providing rich contextual metadata, thereby advancing comprehensive analyses of human communication from both individual and dyadic perspectives. Its application domains include early diagnosis and intervention, enhanced telepresence, personalized agents, and other related fields, with the goal of addressing complex challenges in human communication.

搜集汇总

数据集介绍

构建方式

UDIVA数据集的构建旨在突破自动个体行为检测的局限，专注于开发自动方法来研究和理解在对话互动中，个体和双人特性以及其他语境因素对言语和非言语社会信号的感知、反应和适应机制。该数据集由147名参与者进行的188次互动会话组成，参与者被安排成双人组，在实验室环境中执行一系列任务。数据收集使用多种音频视觉和生理传感器进行。数据集目前包括参与者的社会人口统计学、自我和同伴报告的人格、内部状态和关系特征。

特点

UDIVA数据集具有以下特点：1）多模态和多视图：数据集包含同步的多模态和多视图视频，捕捉参与者在面对面互动中的行为和生理信号。2）非脚本化：互动是自然发生的，而非按照剧本进行，从而更真实地反映了人类交流的复杂性。3）多任务：参与者执行不同的任务，例如交谈、猜动物游戏、乐高搭建和“鬼牌闪电”纸牌游戏，以激发不同的行为和认知负荷。4）多语言：数据集包括西班牙语、加泰罗尼亚语和英语的互动。

使用方法

UDIVA数据集可用于多种研究目的，包括：1）人格特质推断：利用音频视觉数据和来自双方参与者的不同来源的语境信息来推断目标人物的人格特质。2）社会信号处理：研究个体和人际社会信号和动态的检测、理解、建模和合成。3）人机交互：开发个性化、富有同情心的智能系统，例如早期诊断和干预、增强远程呈现和个人代理。4）情感计算：研究情绪识别和情感计算，以开发更自然和有效的交互方式。

背景与挑战

背景概述

人类互动一直是心理学和社会科学的核心主题，旨在解释与认知、情感和行为视角相关的复杂沟通机制。从计算的角度来看，双人和小型群体互动的研究使自动检测、理解、建模和合成个体和人际社交信号和动态的自动方法的发展成为可能。许多以人为本的应用，例如早期诊断和干预、增强现实临场感和个性化代理，都强烈依赖于设计此类解决方案。在双人互动中，我们使用言语和非言语沟通渠道来传达我们的目标和意图，同时建立共同点。双方都根据我们感知到的线索相互影响。然而，我们感知、解释、反应和适应它们的方式取决于无数的因素。这些因素，我们称之为背景，可能包括但不限于：我们的个人特征，无论是稳定的（例如，个性、文化背景和其他社会人口信息），还是暂时的（例如，情绪、生理或生物因素）；双方之间的关系和共同历史；手头的情境和任务的特征；社会规范；以及环境因素（例如，温度）。更重要的是，为了分析对话中的个人行为，需要联合建模双方，因为存在双人相互依赖性。虽然这些方面通常在非计算双人研究中得到考虑，但由于缺乏提供不同情境和人口统计数据集的上下文元数据，具有上下文和对话者意识的计算方法仍然很少。在此，我们介绍了UDIVA，这是一个高度多样化的多模态、多视图数据集，其中包含零和先前相识的双人面对面互动。它由188个互动会话组成，其中147名参与者成对在不同情况下在实验室环境中执行一系列任务。它是使用多个音频和生理传感器收集的，目前包括参与者的社会人口统计、自我和同伴报告的个性、内部状态和关系特征。据我们所知，在研究领域中，没有类似的公开可用的面对面双人数据集，在视图数量、参与者、任务、录音会话和上下文方面。

当前挑战

UDIVA数据集的挑战在于其多模态和多视图性质，这要求开发能够处理和融合不同类型数据的复杂模型。此外，该数据集旨在分析个人和双人行为，这需要考虑双方之间的相互依赖性。最后，尽管UDIVA数据集在数据收集方面非常全面，但仍然缺乏某些类型的注释，例如对话的转录或持续的意图/行为标签。

常用场景

经典使用场景

UDIVA数据集是一个用于研究双人面对面互动中社会信号和行为的语境感知数据集。它包含147名参与者在188个会话中的90.5小时互动，使用多模态和多视角录音，并包括参与者的社会经济数据、自我报告和同伴报告的人格、内部状态和关系特征。该数据集的经典使用场景包括：1. 研究语境对个体人格特征的影响；2. 开发基于社会信号的个性化、富有同情心的智能系统；3. 分析个体在对话中的行为。

解决学术问题

UDIVA数据集解决了以下常见的学术研究问题：1. 缺乏包含多模态、多视角和多情境信息的双人互动数据集；2. 缺乏考虑语境和对话伙伴影响的个体人格特征识别方法。该数据集的意义和影响在于：1. 提供了一个用于研究语境感知人格特征识别的宝贵资源；2. 促进了对社会信号和行为的深入理解；3. 为开发个性化、富有同情心的智能系统提供了基础。

衍生相关工作

UDIVA数据集衍生了以下相关的经典工作：1. 基于Transformer的语境感知人格特征识别方法；2. 使用多模态和多视角信息进行社交信号和行为分析的方法；3. 开发用于个性化、富有同情心的智能系统的技术。这些相关工作的意义在于：1. 推动了社会信号处理和人格计算领域的发展；2. 为开发更智能、更人性化的技术提供了基础；3. 促进了跨学科的合作和交流。