MuSe-CaR

MuSe-CaR数据集是由德国奥格斯堡大学的健康护理和福祉嵌入式智能主席团队创建的，是一个大型的多模态（视频、音频和文本）数据集，专注于汽车评论中的情感分析。该数据集包含超过40小时的视频材料，超过350条评论和70个主持人，旨在开发和进一步理解‘in-the-wild’环境下的多模态情感分析方法。MuSe-CaR数据集提供了前所未有的注释，允许对说话者主题和物理实体与连续情感的关系进行建模。数据集的应用领域包括情感计算和多媒体检索，旨在解决情感和信任度识别的任务。

The MuSe-CaR dataset was created by the team of the Chair for Embedded Intelligence for Healthcare and Wellbeing at the University of Augsburg, Germany. It is a large-scale multimodal (video, audio, and text) dataset focusing on sentiment analysis in automotive reviews. The dataset contains over 40 hours of video material, more than 350 reviews and 70 hosts, and aims to develop and further advance the understanding of multimodal sentiment analysis methods in 'in-the-wild' environments. The MuSe-CaR dataset provides unprecedented annotations that enable modeling the relationships between speaker topics, physical entities and continuous emotions. Its application domains include affective computing and multimedia retrieval, and it is designed to solve tasks related to emotion and trust recognition.

搜集汇总

数据集介绍

构建方式

MuSe-CaR 数据集的构建旨在收集真实世界环境中用户生成的视频材料，以便于开发和应用多模态情感分析方法。数据集的收集过程采用了半自动化的方式，首先通过爬虫程序获取预选视频的元数据，然后联系视频创作者获取使用许可。在获得许可后，研究人员对视频进行深入检查，并根据预定义的标准进行评分和筛选。最终，数据集包含了超过 40 小时的视频材料，包括 350 多条汽车评论和 70 多位发言人。数据集的标注过程采用了多级标注策略，包括连续值标注、部分连续的二进制标注和类别标注，涵盖了情绪、信任度、对话主题、物理实体等多个方面。

使用方法

MuSe-CaR 数据集可用于多种多模态情感分析任务，例如：1) MuSe-Wild：预测视频中的情感维度（唤醒度和效价）的水平；2) MuSe-Topic：预测与特定话题相关的情感强度类别；3) MuSe-Trust：预测视频内容的信任度水平。研究人员可以使用数据集提供的预计算特征或自行提取特征进行模型训练和评估。数据集的标注信息和预计算特征可以通过 Zenodo 平台获取。

背景与挑战

背景概述

随着互联网从以文本为主的Web 2.0向多媒体、用户内容驱动的网络快速转型，从海量半结构化用户生成数据中提取、处理和分析相关信息成为一项重大挑战。尽管基于文本的情感分析已被广泛应用于品牌感知或客户满意度评估，但其他模态（如面部和声音线索）的可用性为情感计算提供了新的机遇。融合文本和图像的表示在情感和情绪预测方面优于单模态模型。此外，近年来，多模态数据在情感分析中的应用受到了越来越多的关注。MuSe-CaR数据集由Lukas Stappen等人创建，是一个大规模、广泛标注的多模态（视频、音频和文本）数据集，收集于现实世界条件，旨在开发适当的方法并进一步理解现实世界中的多模态情感分析。MuSe-CaR数据集在2020年MuSe挑战赛中被用作测试平台，并重点关注通过综合音频、视觉和语言模态来识别情绪、情绪目标参与度和可信度。MuSe-CaR数据集的创建为多模态情感分析领域的研究提供了宝贵的资源，并推动了该领域的发展。

当前挑战

MuSe-CaR数据集在构建过程中面临着一些挑战。首先，由于缺乏鲁棒性，尽管多模态方法在预测结果质量方面优于单模态输入数据，但在现实世界应用中开发和应用这些技术仍然是一个持续的挑战。其次，MuSe-CaR数据集的标注过程需要大量的人工参与，且标注一致性是一个需要关注的方面。此外，MuSe-CaR数据集在构建过程中需要平衡可控和不可控的“现实世界”特征，以确保使用当前深度学习方法进行有意义的学习和泛化。最后，MuSe-CaR数据集的领域限制性也是一个需要考虑的问题，目前只包含汽车领域的评论视频。

常用场景

经典使用场景

MuSe-CaR 数据集作为首个多模态数据集，其经典使用场景主要集中在情感计算领域，尤其是对真实世界中情感与话题交互的分析。该数据集整合了音频、视觉和语言三种模态，为研究情绪、情绪目标参与度和可信度识别提供了宝贵资源。在 MuSe 2020 挑战中，该数据集被用于测试各种多模态情感分析模型，并取得了显著成果。此外，MuSe-CaR 还被用于开发新的模型和算法，例如 DeepTrust 网络，以预测连续可信度信号，从而推动情感计算领域的发展。

解决学术问题

MuSe-CaR 数据集解决了多模态情感分析中存在的几个关键学术研究问题。首先，该数据集提供了大量真实世界数据，克服了现有数据集在场景多样性方面的不足，从而有助于构建鲁棒的机器学习模型。其次，MuSe-CaR 包含了丰富的标注层，包括连续的情绪维度和与演讲者话题和视觉实体交互的层，从而为探索不同模态之间的相互作用提供了可能性。最后，MuSe-CaR 引入了可信度这一全新的维度，并将其与情绪维度相结合，为研究用户生成内容的可信度提供了新的视角。

实际应用

MuSe-CaR 数据集在实际应用场景中具有广泛的应用前景。例如，该数据集可用于开发智能语音助手，使其能够更好地理解用户的情感和需求，并提供更个性化的服务。此外，MuSe-CaR 还可用于开发情感分析工具，帮助企业了解客户对产品的看法和情绪，从而改进产品设计和服务。此外，MuSe-CaR 还可用于开发可信度分析工具，帮助用户识别和过滤虚假信息，从而提高信息质量。

数据集最近研究

最新研究方向

MuSe-CaR 数据集聚焦于汽车评论的多模态情感分析，旨在推动情感计算领域的发展。该数据集的独特之处在于其真实世界数据的收集，涵盖了音频、视觉和文本三种模态，并提供了丰富的标注，包括连续的情感维度（例如，唤醒度、效价和可信度）、二进制标注（例如，主持人/叙述者切换、横幅和人物出现）以及类别标注（例如，主题、实体）。MuSe-CaR 数据集的最新研究方向主要集中在以下几个方面：1) 探索可信度维度与唤醒度/效价之间的关系，以及其在评估用户生成数据主观感知方面的应用；2) 研究多模态情感分析领域内不同社区（例如，情感计算和文本情感分析）之间的融合和迁移学习；3) 探索动态时间规整（DTW）和深度规范时间规整（DCTW）等时间聚合方法，以将连续的情感标注映射到主题；4) 研究如何利用标注者的行为学习稳定表示，从而在减少真实标注数量的情况下创建额外的合成标注；5) 探究如何检测、人工去除和替换遮挡物（例如，横幅和眼镜），以克服多模态情感分析中‘在野外’环境带来的挑战。MuSe-CaR 数据集及其相关研究为情感计算领域带来了新的研究方向和机遇，并为理解和模拟人类情感提供了重要的资源。

相关研究论文

• The Multimodal Sentiment Analysis in Car Reviews (MuSe-CaR) Dataset: Collection, Insights and Improvements

  健康护理和福祉嵌入式智能主席, 奥格斯堡大学, 德国 · 2021年