多模态人机交互算法数据集

多模态人机交互算法库采用混合连接时序分类和多任务学习的训练机制，构建基于注意力机制的编码器-解码器架构，从而建立输入语音特征和识别结果之间的序列对应关系。在语音数据训练过程中，采用多语种语音数据进行训练，实现跨语言共享信息。通过为模型添加语种标签，使系统在语音识别的同时能判断目标语音的语种。针对医用护理机器人的情感分析问题，通过采用一种基于图卷积神经网络的多模态情感分析方案。首先对采集的视、音频信息进行预处理和特征提取，通过自注意力机制获取到表情、动作、语音、文本自注意力情感特后，两两组合表情-语音、表情-动作、表情-文本、动作-语音、动作-文本、语音-文本。通过互注意力机制来获取不同模态相互作用的互注意力情感特征，并将得到的互注意力情感特征通过级联融合得到完整的多模态情感特征。通过使用大语言模型Qwen2.5得到包含上下文信息的多模态情感特征，并将其输入分类器进行情感分析，从而有效提升情感分析的准确率，有助于机器人根据得到的情感标签和自然语言理解之后的用户指令执行人性化的多模式交互。