SGED

SGED（Spiking Gestures Emotion Dataset）是由山东大数据信息技术研究院等机构创建的同质多模态手势情感识别数据集。该数据集包含2500个样本，涵盖了9种情感手势，如‘OK’、‘胜利’等，并通过DAVIS346传感器同时采集视频帧和事件流数据。数据集的创建旨在解决现有模态传感设备发展迅速而数据集发展滞后的问题，为情感识别提供新的研究方向。此外，数据集的应用领域包括情感计算，特别是在其他模态信息不可用的情况下，如远程和嘈杂环境中的视觉信息识别。

SGED (Spiking Gestures Emotion Dataset) is a homogeneous multimodal gesture emotion recognition dataset created by institutions including Shandong Big Data Information Technology Research Institute. It contains 2500 samples covering 9 types of emotional gestures such as "OK" and "Victory", and simultaneously acquires video frames and event stream data via the DAVIS346 sensor. The dataset was developed to address the issue that current modal sensing devices advance rapidly while corresponding datasets lag behind, providing novel research directions for emotion recognition. Additionally, its application scenarios include affective computing, particularly for visual information recognition in situations where other modal information is unavailable, such as remote and noisy environments.

搜集汇总

数据集介绍

构建方式

在情感计算领域，为弥补同质多模态数据的不足，SGED数据集采用DAVIS346传感器同步采集视频帧与事件流数据。该构建过程涉及十名志愿者在多样化光照与体位条件下执行九类情感手势，涵盖中性、消极与积极情绪。通过设计基于缩放因子的二分搜索算法，实现了视频帧标注时间戳与高时间分辨率事件流数据之间的精准对齐，确保了多模态数据的时间同步性。数据采集兼顾隐私保护，对视频帧数据进行了选择性公开与特征提取处理，为后续研究提供了结构化的同质多模态数据基础。

使用方法

SGED数据集适用于同质多模态情感识别模型的训练与评估，尤其聚焦于脉冲神经网络与传统人工神经网络的融合研究。使用时需分别对视频帧与事件流数据进行预处理：视频帧可通过EfficientNet等网络提取特征后输入LSTM进行时序建模；事件流则需转换为密集脉冲平面序列，作为脉冲神经网络的输入。基准方法采用伪双流网络架构，将两种模态的特征分别处理后进行融合输出。评估时需注意样本类别不均衡问题，建议采用加权精确率、召回率与F1分数等指标，并参考提供的多种数据集划分方案以确保实验可复现性。

背景与挑战

背景概述

在情感计算领域，多模态信息融合已成为提升模型性能的关键策略。然而，传统多模态数据集往往侧重于异构模态（如视觉与音频）的互补，而忽视了同源多模态数据的潜力。SGED（Spiking Gestures Emotion Dataset）由山东海量信息技术研究院、浪潮电子信息产业股份有限公司及英特尔中国研究院等机构的研究团队于2023年联合构建，旨在填补同源多模态情感识别数据的空白。该数据集专注于手势情感识别，通过DAVIS346传感器同步采集视频帧与事件流数据，涵盖九类情感手势，如“胜利”、“否定”等，为探索视觉语义与动态信息的协同提供了基准。SGED的推出不仅丰富了情感计算的数据范式，还为脉冲神经网络在实时、低功耗场景中的应用开辟了新方向。

当前挑战

SGED数据集致力于解决手势情感识别领域的核心挑战，即如何在视觉模态内有效融合语义与动态信息以提升识别鲁棒性。传统RGB视频在低光照或高速运动场景中易丢失细节，而事件流数据虽能捕获高动态范围信息，却缺乏语义上下文，两者互补性挖掘成为关键难题。在构建过程中，研究团队面临数据对齐的复杂性：由于视频帧与事件流的时间分辨率差异显著，需设计专用算法（如基于缩放因子的二分搜索）实现精准时序标注。此外，数据采集需平衡隐私保护与科研需求，部分视频帧因涉及人脸信息而仅提供特征表示，增加了数据使用的局限性。这些挑战共同凸显了同源多模态数据集在标准化与可扩展性方面的迫切需求。

常用场景

经典使用场景

在情感计算与动态视觉交叉领域，SGED数据集为同质多模态手势情感识别研究提供了基准平台。其经典应用场景聚焦于利用脉冲视觉传感器（如DAVIS346）捕获的事件流数据与同步采集的传统视频帧数据，共同建模手势的动态与语义信息。研究者通过融合这两种同源但形式迥异的视觉模态，探索在复杂光照、高速运动等挑战性环境下，如何提升情感识别的鲁棒性与准确性。该数据集尤其适用于验证脉冲神经网络与人工神经网络在异构数据处理上的协同潜力，为多模态融合算法提供了标准化的评估框架。

解决学术问题

SGED数据集主要解决了情感计算领域同质多模态数据稀缺的学术难题。传统多模态情感识别研究多依赖图像、文本、语音等异构模态，而同源视觉模态（如视频与事件流）的互补性尚未得到充分探索。该数据集通过提供同步采集的视频帧与事件流数据，填补了基于动态手势的情感识别数据空白。其意义在于推动了脉冲神经网络在情感计算中的应用，验证了事件流数据在高动态范围场景下的信息捕获优势，并为多模态融合机制研究提供了新的实验范式，促进了神经形态计算与情感识别的跨领域结合。

实际应用

在实际应用层面，SGED数据集为无语音交互场景下的情感感知系统提供了技术基础。例如，在远距离通信或高噪声环境中，视觉手势成为情感传递的有效载体，该数据集支持开发鲁棒的手势情感识别系统，适用于助听设备交互、智能监控、远程医疗监护等领域。此外，基于事件流数据的低延迟、高能效特性，该数据集可推动嵌入式或移动端情感交互设备的研发，如实时手势控制的智能家居界面或低功耗情感辅助机器人，为边缘计算场景下的实时情感分析提供数据支撑。

数据集最近研究

最新研究方向

在情感计算与神经形态视觉的交叉领域，SGED数据集的推出为同质多模态手势情感识别开辟了新的研究路径。该数据集整合了传统视频帧与事件流数据，弥补了现有社区在同质多模态数据方面的缺失，尤其聚焦于动态手势所承载的情感信息。前沿研究围绕事件相机的高动态范围特性与脉冲神经网络的生物启发性展开，探索如何高效融合视觉语义与时空动态特征，以提升在复杂光照与高速运动场景下的识别鲁棒性。当前热点集中于设计轻量化、低延迟的混合网络架构，如伪双流网络，并推动其在神经形态硬件上的部署，以实现低功耗的实时情感交互系统。这一进展不仅丰富了多模态情感计算的数据范式，也为手势识别在无障碍通信、人机交互等领域的应用提供了新的技术支撑。

相关研究论文

• SGED: A Benchmark dataset for Performance Evaluation of Spiking Gesture Emotion Recognition

  山东大数据信息技术研究院 · 2023年