EmoWorld-130K

EmoWorld-130K是一个由福建师范大学、同济大学、深圳技术大学和香港理工大学联合构建的多模态情感推理数据集，旨在弥合情感感知、理解与交互任务间的割裂。该数据集包含约130,000条指令样本，覆盖八项核心情感任务，如情感分析、基本情绪识别和共情对话生成，数据源自DFEW、MERR等多源公开数据集。构建过程采用“理论驱动轨迹蒸馏-逆向验证-专家复核”三阶段流程，依据心理学理论（如Ekman情绪理论）引导模型生成结构化推理链。数据集旨在为统一情感大模型提供训练基础，解决情感计算中任务协同不足及推理潜力未充分挖掘的问题。EmoWorld-130K is a multimodal affective reasoning dataset jointly constructed by Fujian Normal University, Tongji University, Shenzhen Technology University and The Hong Kong Polytechnic University, aiming to bridge the gap between affective perception, understanding and interaction tasks. It contains approximately 130,000 instruction samples covering eight core affective tasks, including sentiment analysis, basic emotion recognition, empathetic dialogue generation and others, with data sourced from multiple public datasets such as DFEW and MERR. The construction process adopts a three-stage workflow of "theory-driven trajectory distillation - reverse verification - expert review", which guides models to generate structured reasoning chains based on psychological theories such as Ekman's emotion theory. This dataset aims to provide a training foundation for unified affective large language models, addressing the issues of insufficient task collaboration and underutilized reasoning potential in affective computing.

原始信息汇总

OneEmo 数据集详情

数据集简介

OneEmo 是一个面向视频情感智能的统一多模态推理模型，其配套数据集 EmoWorld-130K 用于训练模型完成情感感知、情感理解和情感交互三大类任务，涵盖情感分析、基本情绪识别、开放词汇情绪识别、意图识别和幽默理解等多个子任务。该模型在八项情感任务上取得了 SOTA 效果。

数据集资源

资源名称	访问地址	用途
EmoWorld-130K	https://huggingface.co/datasets/Jiaha0Hu4ng/EmoWorld-130K	统一情感推理训练数据集
OneEmo-Base	https://huggingface.co/Jiaha0Hu4ng/OneEmo-Base	课程学习阶段1权重（冷启动）
OneEmo	https://huggingface.co/Jiaha0Hu4ng/OneEmo	最终 Emo-Chord 模型权重

数据构成

数据集通过从多个情感任务的专家模型中提炼领域知识，生成带有明确推理轨迹的统一训练数据，主要包含以下两个部分：

• SFT 数据（datas/sftnew/）：包含助理推理过程和答案，用于监督微调阶段。
• RL 数据（datas/rl/）：包含 solution、perception、reasoning_ref 等奖励字段，用于强化学习阶段。

此外还包含评估数据（datas/eval/），用于推理和评估（MerUnibench 除外）。

覆盖的数据集范畴

数据涉及以下情感任务类型：

• MSA（多模态情感分析）
• MER（多模态情绪识别）
• MIR（多模态意图识别）
• MHD（多模态幽默检测）
• MSD（多模态讽刺检测）
• ERG（情绪推理生成）
• ESC（共情交流）
• OVMER（开放词汇多模态情绪识别）

涵盖的数据集名称包括 MIntRec、MIntRec2 等，每个数据集均配置了原始视频、标签文件和转录文本。

训练方法

课程学习 SFT

• 阶段1：多任务冷启动，使用 LoRA、bfloat16 和 DeepSpeed ZeRO-2 配置，覆盖 MSA、MER、MIR、MHD、MSD、ERG 等任务族。
• 阶段2：课程学习扩展，在阶段1导出模型基础上继续训练，增加更多 ERG 任务数据及 ESC 任务。

Emo-Chord 强化学习

训练过程中循环读取 SFT 数据流，动态组合 SFT 损失与 GRPO 损失：

text L_CHORD = (1 - mu) * L_GRPO + mu * L_SFT

mu 先热身上升至 peak，再通过余弦退火降至 valley，支持 token 级 phi 权重。

环境要求

组件	版本
Python	3.12.0
PyTorch	2.10.0+cu128
CUDA Runtime	12.8
Transformers	5.2.0
ms-swift	4.1.3
vLLM	0.19.0
DeepSpeed	0.19.0
TRL	0.29.1
flash-attn	2.8.3

奖励函数

reward/reward_plugin.py 注册了三种奖励类型：

• format：检查输出是否包含单个 <think>...</think> 推理块；
• process：通过裁判服务评估事实一致性和推理-答案一致性；
• answer：计算分类任务的标签匹配、OVMER 的多标签 WAF 得分，以及 ERG/ESC 的文本相似度。

引用

bibtex @article{huang2026oneemo, title={OneEmo: A Unified Multimodal Reasoning Model for Emotion Perception, Understanding, and Interaction}, author={Jiahao Huang and Zheng Lian and Jingyi Zhang and Zhide Chen and Xiaojiang Peng and Shaonan Wang}, year={2026}, journal={arXiv preprint arXiv:2608.06013}, }

搜集汇总

数据集介绍

构建方式

EmoWorld-130K的构建过程遵循严谨的三阶段流水线，旨在将分散的情感知识转化为结构化的推理轨迹。首先，通过理论引导的轨迹蒸馏，从DFEW、MERR、MIntRec等公认数据源中提取原始数据，以原始标注为锚点，并借助Seed-2.0-Lite等模型，在心理学与认知科学理论框架（如Ekman基本情绪理论、失谐-消解理论等）的约束下，生成高结构化的思维链，确保推理逻辑的规范性与上下文敏感性。随后，实施自动反向验证，通过闭环校验协议评估能否仅凭推理轨迹推导出黄金标签，从而识别事实或逻辑不一致的样本，并标注违规类型与因果解释。最后，引入人工智能辅助的专家重标注环节，由心理学专业研究生针对问题样本进行修订，辅以AI生成的修复建议，并对各任务随机抽样10%进行人工审计，若未达标则迭代重标，直至整体质量满足严苛标准。

使用方法

EmoWorld-130K的设计支持两阶段使用方式。初期，可用于监督微调（SFT），通过两阶段课程学习策略，先对模型进行多任务联合微调以巩固感知与理解能力，再引入情感支持对话并提升共情响应生成的数据比例，从而促进从感知到交互的进阶融合。后期，该数据集亦适配强化学习（RL）范式，特别是在Emo-Chord策略下，利用离策略冷启动与在线策略优化相结合的方式，配合动态加权SFT辅助损失，以缓解多任务优化中的梯度冲突与策略崩溃问题。研究者可将数据集划分为SFT子集与RL子集，并依据任务类别应用相应的奖励函数（如格式奖励、思维奖励与答案奖励），以精细调控推理过程与交互质量。其跨模型泛化能力已通过不同视觉-语言基础模型的LoRA微调实验得到验证，可广泛适用于多种架构的MLLMs，提升其在情感智能任务上的综合表现。

背景与挑战

背景概述

EmoWorld-130K数据集由福建师范大学、同济大学、深圳技术大学及香港理工大学的研究人员联合构建，旨在解决多模态大语言模型在情感智能领域面临的碎片化问题。该数据集于2026年发布，包含约13万条样本，覆盖情感感知、理解与交互三大领域共八项核心任务，并通过心理学理论驱动的推理轨迹标注，为统一情感推理模型OneEmo提供训练支撑。其创建标志着情感计算从单一任务专精向多任务协同的范式转变，为构建可解释、高泛化的情感智能体奠定了数据基础，对推动人机交互和情感AI研究具有重要影响力。

当前挑战

该数据集面临双重挑战：其一，领域内现有数据集如ECR-Chain、Psyche-R1等仅覆盖单一情感维度，缺乏跨任务协同标注及高阶认知推理轨迹，难以支撑模型从感知到交互的连贯推理；其二，构建过程中需融合多源异构数据，并借助心理学理论（如Ekman基本情绪理论、失谐-消解理论）生成结构化推理，同时采用人机协同流程进行逆向验证与专家重标注，以确保130K样本的推理逻辑严谨性与情感标签一致性，工作量巨大且易受主观偏差影响。

常用场景

经典使用场景

EmoWorld-130K作为多模态情感推理领域的创新性数据集，其经典使用场景在于为统一情感智能模型提供训练与评测基准。该数据集涵盖情感感知、理解与交互三大层级，包含八项核心任务，如多模态情感分析、基础情感识别、开放词汇情感识别、意图识别、幽默理解、讽刺理解、共情回复生成及情感支持对话。研究者通常利用该数据集对多模态大语言模型进行监督微调与强化学习优化，以提升模型在复杂情感场景中的推理能力与跨任务协同表现。

解决学术问题

该数据集有效解决了当前情感计算研究中任务碎片化与推理可解释性不足的学术难题。传统数据集往往聚焦单一情感维度，缺乏对情绪感知、理解与交互之间内在联系的系统性建模。EmoWorld-130K通过引入理论驱动的显式推理轨迹，融合心理学与认知科学框架，为多任务联合优化提供了高质量训练语料，促进模型从基础感知向高阶认知的跃迁，并为情感AI的可靠性与可解释性研究奠定了数据基础。

实际应用

在实际应用层面，EmoWorld-130K为构建类人情感交互系统提供了关键支撑。基于该数据集训练的模型可部署于教育辅助系统、医疗健康咨询、智能对话代理等场景，实现用户情绪状态的精准感知、对话意图的深入理解以及共情性回应与情感支持的自动生成。其理论驱动的推理轨迹有助于提升AI系统在心理援助热线、在线辅导等敏感环境中的安全性与可信度，推动情感智能从实验室走向真实世界。

数据集最近研究

最新研究方向

EmoWorld-130K数据集的前沿研究指向构建统一的多模态情感推理框架，通过理论驱动的显式推理轨迹与多任务强化学习策略，打破传统任务特化模型的局限。该数据集整合了情感感知、理解与交互的八项核心任务，融合心理学理论（如Ekman基本情绪理论、失谐-消解幽默理论、认知评价理论）与临床诊断标准（DSM/ICD-11），采用人类参与的闭环校验流程确保推理链条的逻辑严谨性与事实一致性。研究热点聚焦于利用强化学习（如GRPO）与辅助SFT损失的混合优化，解决多任务梯度冲突与策略崩溃问题，并探索跨任务协同增益，推动轻量级模型在情感智能上接近或超越商业巨擘。其意义在于为可解释、可靠的情感计算奠定基础，加速情感人工智能从感知到共情的统一演进。

相关研究论文

• OneEmo: A Unified Multimodal Reasoning Model for Emotion Perception, Understanding, and Interaction

  福建师范大学; 同济大学; 深圳技术大学; 香港理工大学 · 2026年