EMMI - Empathic Multimodal Motivational Interviews Dataset

EMMI数据集是由ISIR Sorbonne大学巴黎创建，包含285个视频，总时长21小时22分钟，涵盖模拟的动机性访谈对话。数据集结合了AnnoMI和MID两个现有数据集，并增加了多模态注释，旨在分析治疗师和患者的互动行为，特别是情感和社交行为。创建过程中，数据集通过在线开放源收集，并进行了视频预处理和多模态注释，以支持虚拟治疗代理的开发。该数据集主要应用于心理治疗领域，特别是动机性访谈，以解决心理健康服务资源不足的问题，通过虚拟代理提供即时支持。

The EMMI Dataset was created by ISIR Sorbonne University Paris. It contains 285 videos with a total duration of 21 hours and 22 minutes, covering simulated motivational interviewing dialogues. This dataset integrates two existing datasets, AnnoMI and MID, and adds multimodal annotations, aiming to analyze the interactive behaviors between therapists and patients, especially their emotional and social behaviors. During its development, the dataset was collected from open online sources, followed by video preprocessing and multimodal annotation, to support the development of virtual therapy agents. This dataset is mainly applied in the field of psychotherapy, particularly motivational interviewing, to address the shortage of mental health service resources by providing real-time support via virtual agents.

搜集汇总

数据集介绍

构建方式

EMMI数据集的构建基于两个公开可用的动机性访谈语料库：AnnoMI和动机性访谈数据集（MID）。研究者对这两个语料库中的模拟动机性访谈对话进行了多模态标注，包括对话行为、表情幅度、声音强度、身体姿态等多个方面。这些标注旨在分析治疗师在访谈过程中的社会行为和同情行为，以及患者对这些行为的反应。为了更好地分析非言语行为，研究者还对视频进行了预处理，将视频分割为只显示患者、只显示治疗师和两者都可见的三个标准化视角。此外，研究者还使用KMeans算法对患者的言语行为进行了聚类分析，将患者分为“愿意改变”、“抗拒改变”和“接受”三个类型，以更好地理解患者和治疗师之间的互动模式。

特点

EMMI数据集的主要特点包括：1）多模态标注：该数据集包含了丰富的多模态标注信息，包括对话行为、表情幅度、声音强度、身体姿态等多个方面，为研究治疗师和患者之间的互动提供了全面的数据基础。2）患者聚类：通过KMeans算法对患者进行了聚类分析，将患者分为“愿意改变”、“抗拒改变”和“接受”三个类型，有助于研究者更好地理解不同类型患者和治疗师之间的互动模式。3）标准化视角：为了更好地分析非言语行为，研究者将视频分割为只显示患者、只显示治疗师和两者都可见的三个标准化视角，使得非言语行为更易于观察和分析。

使用方法

EMMI数据集可用于研究治疗师和患者之间的互动模式，以及开发能够进行动机性访谈的多模态虚拟治疗师。研究者可以使用该数据集分析治疗师和患者在不同对话阶段的言语和非言语行为，以及不同类型患者和治疗师之间的互动模式。此外，研究者还可以使用该数据集训练多模态分类器，以识别和预测治疗师和患者的言语和非言语行为。

背景与挑战

背景概述

随着心理健康问题日益增多，治疗需求与可用资源之间的差距不断扩大，导致患者在接受治疗前需要等待很长时间。为了解决这个问题，研究人员提出了使用虚拟代理来模拟动机性访谈（MI）的概念，为等待治疗的患者提供即时支持。动机性访谈是一种强调合作和鼓励行为改变的疗法，治疗师在访谈中运用各种策略，包括言语（如反思、提问）和非言语元素（如微笑、头部和身体位置）。本研究旨在揭示治疗师如何在完成治疗任务目标（运用MI的经典步骤）的同时，实现社会目标（建立信任关系和表达同情）。为此，研究人员创建了EMMI数据集，该数据集由两个公开的MI语料库（AnnoMI和MID）组成，并对其进行了多模态标注。通过对这些标注的分析，研究人员发现三种类型的患者表现出显著不同的行为，治疗师的行为也会根据患者的类型进行相应的调整。这表明治疗师能够根据对话中的当前情况和患者的类型调整他们的行为，这对于开发一个能够进行动机性访谈的虚拟代理至关重要。

当前挑战

EMMI数据集面临的挑战包括：1）解决领域问题：该数据集旨在解决动机性访谈中治疗师和患者行为的研究问题，以及如何开发一个能够进行多模态动机性访谈的虚拟代理。2）构建过程中的挑战：由于动机性访谈的主题敏感性强，获取真实的人类-人类数据具有挑战性。此外，深入研究治疗师的多模态行为也需要解决数据获取和分析的难题。为了解决这些问题，研究人员创建了EMMI数据集，并对其进行了多模态标注，包括对话行为、行为表达性、社会行为和对话者之间的对齐。通过分析这些标注，研究人员发现患者可以被分为三种类型，治疗师的行为也会根据患者的类型进行相应的调整。这些发现为开发一个能够动态适应患者行为和类型的虚拟代理提供了重要的理论基础。

常用场景

经典使用场景

EMMI数据集主要用于研究治疗过程中多模态交互的复杂性，特别是治疗师如何将任务目标（采用动机访谈的经典步骤）与社会目标（建立信任关系并表达同理心）相结合。此外，该数据集还旨在根据患者的不同类型来定制治疗策略。

解决学术问题

EMMI数据集解决了当前治疗领域数据集主要关注语言方面，而忽视非语言行为信息的不足。它通过提供多模态注释，包括面部表情、身体语言和语音特征等，使得研究人员能够更深入地理解治疗师和患者之间的交互模式。此外，该数据集还通过分析患者的行为，将其分为不同的类型，为个性化治疗提供了理论依据。

衍生相关工作

EMMI数据集的衍生相关工作包括开发基于多模态交互的治疗策略，以及设计能够根据患者类型和当前行为动态调整沟通策略的虚拟治疗师。此外，该数据集还可以用于研究治疗师和患者之间的互动模式，以及如何通过改善互动来提高治疗效果。