NatSGD是一个多模态人机交互数据集，由马里兰大学帕克分校创建。该数据集包含1143条通过语音和手势发出的自然人类指令，同步记录了机器人的行为演示。数据集内容涵盖日常厨房任务，如食物准备、烹饪和清洁，旨在训练机器人理解复杂任务。创建过程中采用了Wizard of Oz实验设计，确保交互的自然性。NatSGD的应用领域包括多模态感知、视觉识别、模仿学习等，旨在解决人机交互中的任务理解问题。
The FETE dataset comprises facial expressions and touch gestures to fully utilize the interactive information from the two modalities during HRI. The dataset is organized into ten folders, where each
ACTIVE（Action from Robotic View）是一个专为移动服务机器人感知视角设计的大规模数据集，包含30个复合动作类别、80名参与者和46,868个注释视频实例，涵盖RGB和点云两种模态。参与者在不同环境中执行各种人类动作，距离从3米到50米不等，同时摄像机平台也是移动的，模拟了机器人感知的真实场景。该数据集旨在推动自然人机交互（N-HRI）中的动作和属性识别研究。
