多模态情感识别及任务规划数据集

本数据集围绕生活支援机器人用于解决多模态信息的使用者意图理解法开发中的问题，通过实验与实机相结合的方式构建。数据生产于2024年9月至2025年6月，空间范围为重庆大学自动化学院构建的标准化室内生活场景。该数据集包括模型库、多模态数据集、情感识别及任务规划算法。多模态数据集主要包括了两个情感识别领域中广泛使用的公开数据集 IEMOCAP 数据集、 MELD 数据集和任务规划数据集，其中收录了大量交互场景下的对话信息，其中情感类别分为七类：愤怒、厌恶、悲伤、喜悦、中性、 惊讶和恐惧，非中性情绪占比 53%，每个话语还另外标注了积极、消极和中性三种情感极性标签。任务规划数据由团队自定义设计构建，由少量图片及文本数据构成。该数据集已预先将数据划分为训练集、验证集和测试集。数据经过严格的设备校准、逻辑校验与人工抽样核对，确保了其完整性与准确性。本数据集为验证机器人在交互场景下的多模态情感识别能力及针对生活常见的任务规划能力，对促进服务机器人情感识别与任务规划技术的研发与重用具有重要价值。

搜集汇总

背景与挑战

背景概述

该数据集旨在支持生活支援机器人的多模态情感识别与任务规划能力开发，包含模型库、整合了公开情感数据集（如IEMOCAP和MELD）的自定义多模态数据，以及任务规划算法。数据集已划分为训练集、验证集和测试集，经过严格校验，对促进服务机器人相关技术研发具有重要价值。