MER2023

该数据集专注于中文语言环境，可用作多标签学习、噪声鲁棒性和半监督学习研究的基准数据集。

This dataset focuses on the Chinese language environment and serves as a benchmark dataset for research on multi-label learning, noise robustness, and semi-supervised learning.

原始信息汇总

数据集概述

MER2023

数据集

• 下载数据集需填写EULA并发送到[e-mail]。
• 参与者仅可将数据集用于学术研究，不得编辑或上传样本至互联网。

基线

• 论文：MER 2023: Multi-label Learning, Modality Robustness, and Semi-Supervised Learning
• 作者：Zheng Lian, Haiyang Sun, Licai Sun, Jinming Zhao, Ye Liu, Bin Liu, Jiangyan Yi, Meng Wang, Erik Cambria, Guoying Zhao, Björn W. Schuller, Jianhua Tao
• 代码：见**./MER2023**

MERBench

数据集

• 论文：MERBench: A Unified Evaluation Benchmark for Multimodal Emotion Recognition
• 作者：Zheng Lian, Licai Sun, Yong Ren, Hao Gu, Haiyang Sun, Lan Chen, Bin Liu, Jianhua Tao
• 代码：见**./MERBench**

MER2024

数据集

• 下载数据集需填写EULA并发送到[e-mail]。
• 参与者仅可将数据集用于学术研究，不得编辑或上传样本至互联网。

基线

• 论文：MER 2024: Semi-Supervised Learning, Noise Robustness, and Open-Vocabulary Multimodal Emotion Recognition
• 作者：Zheng Lian, Haiyang Sun, Licai Sun, Zhuofan Wen, Siyuan Zhang, Shun Chen, Hao Gu, Jinming Zhao, Ziyang Ma, Xie Chen, Jiangyan Yi, Rui Liu, Kele Xu, Bin Liu, Erik Cambria, Guoying Zhao, Björn W. Schuller, Jianhua Tao
• 代码：见**./MER2024**

搜集汇总

数据集介绍

构建方式

MER2023数据集的构建基于对中国语言环境的情感识别需求，旨在为多标签学习、噪声鲁棒性和半监督学习提供基准数据集。该数据集通过从互联网上收集大量电影和电视剧片段，并使用多种工具（如FFmpeg、EasyOCR、Silero VAD等）进行视频分割和过滤，确保视频片段包含完整的情感表达内容。数据标注过程包括情感标注、一致性检查、可靠性检查和情感维度标注，确保标注结果的准确性和一致性。数据集最终分为三个子集：多标签子集、噪声子集和未标注子集，分别用于研究离散和维度标签的相关性、噪声鲁棒性以及半监督学习。

特点

MER2023数据集的主要特点包括：1）多标签标注，支持离散情感和维度情感的研究；2）噪声子集，用于评估噪声环境下的情感识别鲁棒性；3）未标注子集，适用于半监督学习研究。此外，数据集的标注过程经过多轮验证，确保标注结果的可靠性和一致性。数据集的情感分布不均衡，中性、愤怒、快乐和悲伤情感占比较高，符合现有情感数据集的特征。

使用方法

MER2023数据集可用于多模态情感识别的研究，特别是在多标签学习、噪声鲁棒性和半监督学习方向。研究者可以通过该数据集评估其算法在不同实验设置下的性能，并进行公平比较。数据集提供了多种模态的特征提取方法，包括视觉、音频和文本模态，研究者可以根据需求选择合适的特征进行情感识别任务。此外，数据集还提供了基准模型和评估指标，便于研究者快速上手并进行算法验证。

背景与挑战

背景概述

MER2023数据集是由中国科学院自动化研究所的多模态人工智能系统国家重点实验室的研究团队开发的，旨在为多模态情感识别（Multimodal Emotion Recognition, MER）提供一个统一的评估基准。该数据集的构建源于现有算法在特征提取、评估方式和实验设置上的不一致性，这些不一致性严重阻碍了该领域的发展。MER2023数据集专注于中文语言环境，旨在为多标签学习、噪声鲁棒性和半监督学习提供基准数据集。该数据集的创建不仅揭示了多模态情感识别中关键技术（如特征选择、多模态融合、鲁棒性分析等）的贡献，还为后续研究提供了清晰的指导方向。

当前挑战

MER2023数据集的构建面临多重挑战。首先，多模态情感识别的核心问题是如何有效整合视频、音频和文本等多源信息，以准确识别人类的情感状态。其次，数据集的构建过程中，研究人员需要解决多标签学习、噪声鲁棒性和半监督学习等领域的具体问题。此外，数据集的标注过程也面临挑战，包括情感标注的一致性检查、可靠性检查以及情感维度的标注等。最后，多模态情感识别的公平比较需要统一的实验设置，而现有的数据集在特征提取和评估方式上的不一致性使得不同算法的比较变得困难。

常用场景

经典使用场景

MER2023数据集的经典应用场景主要集中在多模态情感识别领域，尤其是在中文语言环境下的情感分析任务中。该数据集通过整合视频、音频和文本等多模态信息，为研究人员提供了一个统一的评估基准，用于探索特征选择、多模态融合、跨语料库性能和鲁棒性分析等关键技术。通过MER2023数据集，研究人员可以评估不同算法在多标签学习、噪声鲁棒性和半监督学习等方向上的表现，从而推动多模态情感识别技术的发展。

实际应用

MER2023数据集在实际应用中具有广泛的应用场景，尤其是在人机交互、情感分析和用户体验优化等领域。例如，在智能客服系统中，MER2023可以帮助识别用户的情感状态，从而提供更加个性化和情感化的服务。此外，在社交媒体分析、心理健康监测和教育辅导等领域，MER2023也可以用于情感识别和情感分析，帮助系统更好地理解用户的情感需求，提升用户体验。

衍生相关工作

MER2023数据集的发布催生了一系列相关的经典工作。首先，基于该数据集的多模态情感识别基准MERBench为后续研究提供了统一的评估框架，促进了多模态情感识别技术的公平比较和进一步发展。其次，MER2023在多标签学习、噪声鲁棒性和半监督学习等方向上的应用，推动了这些领域的研究进展。此外，MER2023还激发了对多模态融合策略、特征选择和跨语料库性能等问题的深入研究，为多模态情感识别领域提供了新的研究方向和方法论。