MTMEUR

MTMEUR数据集由合肥工业大学、香港中文大学（深圳）和中国科学技术大学的研究人员创建。该数据集包含1,451个来自现实场景的视频和5,101个高质量的渐进式问题，涵盖情感识别、情感原因、未来行为预测等方面。数据集的创建过程包括数据收集、预处理、生成、进化和筛选，确保数据的质量和多样性。MTMEUR旨在推动多模态情感理解和推理的发展，提高人机交互的自然性和有效性。

The MTMEUR dataset was created by researchers from Hefei University of Technology, The Chinese University of Hong Kong, Shenzhen, and University of Science and Technology of China. This dataset includes 1,451 real-world videos and 5,101 high-quality progressive questions, covering areas such as emotion recognition, emotion cause analysis, and future behavior prediction. The dataset's creation process includes data collection, preprocessing, generation, evolution, and filtering, to ensure the quality and diversity of the data. MTMEUR aims to promote the development of multimodal emotion understanding and reasoning, and improve the naturality and effectiveness of human-computer interaction.

搜集汇总

数据集介绍

构建方式

MTMEUR数据集的构建采用多阶段精细化流程，涵盖视频筛选、问题生成与迭代优化。研究团队从Pexels和Mixkit平台采集约10,000个初始视频片段，通过四位评审员基于情感表达力、视觉质量及场景多样性进行5分制评分，最终精选1,451个高质量视频。问题生成阶段借助GPT-4o模型，以Social-IQ数据集和75个人工构建的示例为种子任务，通过多轮迭代演化机制提升问题的复杂性与多样性，每个问题配备四个选项（含一个正确答案及三个语义相近的干扰项）。最终通过人工评审确保问题的正确性、复杂度和质量，并采用Fleiss‘ Kappa系数（>0.81）验证标注一致性。

特点

该数据集涵盖七类核心情感（愤怒、兴奋、恐惧、快乐、悲伤、厌恶、惊讶），包含5,101道渐进式多轮问答，问题平均长度达19.63词，答案平均长度为14.27词，显著高于同类数据集Social-IQ2。其特色在于超越传统情感识别，深入探讨情感因果关系、未来行为预测及多角色情感交互推理。视频场景覆盖家庭聚会、颁奖典礼等多样化真实情境，且通过选项演化机制增强推理深度，例如将简单情感描述升级为包含次级条件与行为细节的复合表述。

使用方法

该数据集专为评估多模态大语言模型（MLLMs）的情感推理能力设计，需模型处理视频输入并回答多轮选择题。使用时需整合视觉特征（如面部表情、肢体语言）与上下文信息（如场景背景、事件序列），通过多智能体框架分别解析背景环境、角色动态和事件细节，最终由决策智能体综合推理生成答案。评估指标采用准确率，要求模型区分细微情感变化及复杂因果链，例如从视频中推断情绪转变的触发因素或预测后续行为。

背景与挑战

背景概述

MTMEUR（多轮多模态情感理解与推理基准）由合肥工业大学联合中国科学技术大学等机构于2025年提出，旨在推动多模态大语言模型在情感计算领域的深度应用。该数据集包含1,451个真实场景视频和5,101个渐进式问题，覆盖情感识别、情感归因和未来行为预测等多维度任务。其创新性在于突破传统情感识别的局限，引入多轮对话机制和因果推理框架，为心理学与人机交互研究提供了更丰富的评估标准，显著提升了情感模型在复杂场景下的认知深度。

当前挑战

MTMEUR需解决多模态情感推理中动态情感转移捕捉、多因素因果关联建模、长时序上下文依赖等核心问题。构建过程中面临高质量视频筛选与标注的复杂性，需平衡情感表达的多样性与上下文连贯性；同时，自动化生成问题时需规避语义偏差，并通过多轮迭代优化确保问题与选项的推理深度和逻辑严密性，最终依赖严格的人工评审保证数据集的科学性与可靠性。

常用场景

经典使用场景

在心理学与人工智能交叉领域，MTMEUR数据集被广泛应用于多模态大语言模型的情感推理能力评估。该数据集通过1,451个真实场景视频和5,101个渐进式问题，要求模型不仅识别基础情感状态，还需分析情感演变轨迹、推断潜在因果关系，并预测未来行为反应。这种多轮对话式评估框架已成为测试模型对复杂情感动态理解深度的标准范式，尤其在模拟人类情感认知过程方面展现出独特价值。

实际应用

该数据集在智能心理咨询、人机交互系统优化等领域产生显著应用价值。例如在心理辅助诊断中，系统可通过分析患者视频中的微表情变化与情感演变模式，辅助专业人士评估心理状态；在服务机器人场景中，模型能基于用户即时的情感反应预测其后续行为倾向，从而生成更具共情能力的回应。这些应用显著提升了人工智能系统在教育、医疗、客服等需要情感智能的垂直领域的服务效能。

衍生相关工作

基于MTMEUR的评估范式，研究者开发了多代理协作推理框架，其中背景代理、角色代理和事件代理分别专注于环境语境、人物动态和事件序列的解析，最终由决策代理进行综合判断。该框架启发了后续如Emotion-LLaMA等专门化模型的发展，同时推动了提示工程优化研究（如思维链提示、类比推理提示）在情感计算领域的应用创新，为多模态推理任务提供了可扩展的架构蓝图。