NatSGD

NatSGD是一个多模态人机交互数据集，由马里兰大学帕克分校创建。该数据集包含1143条通过语音和手势发出的自然人类指令，同步记录了机器人的行为演示。数据集内容涵盖日常厨房任务，如食物准备、烹饪和清洁，旨在训练机器人理解复杂任务。创建过程中采用了Wizard of Oz实验设计，确保交互的自然性。NatSGD的应用领域包括多模态感知、视觉识别、模仿学习等，旨在解决人机交互中的任务理解问题。

NatSGD is a multimodal human-robot interaction dataset created by the University of Maryland, College Park. This dataset contains 1,143 natural human instructions issued via speech and gestures, with synchronously recorded robot behavior demonstrations. The dataset covers daily kitchen tasks including food preparation, cooking and cleaning, aiming to train robots to comprehend complex tasks. The Wizard of Oz experimental design was adopted during its creation to ensure the naturalness of the interaction. The application fields of NatSGD include multimodal perception, visual recognition, imitation learning and other related areas, aiming to address task understanding challenges in human-robot interaction.

搜集汇总

数据集介绍

构建方式

在自然人机交互领域，NatSGD数据集通过精心设计的“绿野仙踪”实验范式构建而成，旨在捕捉真实、自发的多模态交互行为。实验邀请18名参与者在高度逼真的厨房模拟环境中，通过语音和手势向虚拟机器人下达复杂任务指令，如烹饪与清洁。数据采集过程严格把控参与者多样性，并利用Unity3D构建的高保真模拟器与ROS接口同步记录语音、人体姿态（通过OpenPose提取）以及机器人演示轨迹。所有数据经过多轮人工与计算标注，确保了高质量与可靠性。

特点

NatSGD数据集的核心特点在于其前所未有的多模态融合与任务复杂性。它首次同步整合了自然语音、手势与机器人演示轨迹，覆盖了11种动作、20类对象及16种状态，共计1143条指令。数据集特别关注日常复杂任务（如切菜、煮汤），超越了以往仅关注简单指向或操纵任务的数据集。其标注体系极为精细，不仅区分了语音与手势的意图性，还对身体部位在任务中的角色进行了详细标注，并提供了线性时序逻辑公式作为高级任务表示，为模型理解多模态指令的深层语义与时空逻辑提供了强监督信号。

使用方法

NatSGD数据集为机器人学习与多模态理解研究提供了多层次的应用途径。在底层，可用于语音识别、手势识别及物体检测等感知任务训练。在语义层面，其标注的意图性与非意图性手势有助于研究人机交互中的隐式沟通。数据集的核心应用在于高级别的“多模态人类任务理解”，即训练模型将语音-手势对联合映射为描述任务结构的线性时序逻辑公式。研究者可利用其提供的多视角视频、机器人状态轨迹及丰富标注，开发端到端的神经网络模型，以提升机器人在复杂场景下理解并执行自然人类指令的能力。

背景与挑战

背景概述

在自然语言与手势融合的多模态人机交互研究领域，现有数据集多聚焦于基础感知任务，难以支撑复杂场景下的机器人学习。为弥补这一空白，马里兰大学的研究团队于近年推出了NatSGD数据集，其核心研究问题在于如何通过同步采集语音、手势与机器人演示轨迹，使机器人能够理解并执行如烹饪、清洁等日常复杂任务。该数据集通过精心设计的“绿野仙踪”实验，收集了18名参与者在厨房环境中的1143条自然交互指令，涵盖了11种动作、20类物体及16种状态，并辅以专家演示轨迹。NatSGD的发布为人机交互与机器人学习研究提供了首个融合多模态自然指令与演示轨迹的基准资源，显著推动了复杂任务理解与多模态融合算法的发展。

当前挑战

NatSGD数据集旨在解决多模态人机任务理解的核心挑战，即如何将人类自然交互中的语音与手势协同映射为可执行的机器人任务表示。这一过程面临多重困难：首先，自然交互中语音与手势常存在歧义与互补关系，需设计鲁棒的融合机制以准确解析人类意图；其次，复杂任务往往隐含层级化子任务结构，要求模型能够推断条件性时序逻辑，如将“将汤倒入碗中”转换为线性时序逻辑公式。在数据集构建层面，挑战同样显著：为捕捉真实自然行为，需通过“绿野仙踪”实验设计隐蔽控制策略，避免参与者察觉人为干预；同时，需确保多传感器数据同步、高质量标注与偏差控制，并构建高真实度仿真环境以支持机器人学习与仿真到现实的迁移。

常用场景

经典使用场景

在自然语言与机器人交互的研究领域中，NatSGD数据集被广泛应用于多模态任务理解的核心场景。该数据集通过融合语音、手势与机器人演示轨迹，为复杂日常任务（如烹饪与清洁）的机器人学习提供了关键支撑。其经典应用体现在训练机器人从人类自然指令中解析任务意图，将非结构化的语音和手势输入映射为可执行的线性时序逻辑公式，从而实现对多模态指令的联合理解与执行。

衍生相关工作

围绕NatSGD数据集，已衍生出一系列聚焦于多模态人机交互的经典研究工作。这些工作主要集中于探索语音与手势的联合编码架构、基于线性时序逻辑的任务规划方法，以及从仿真到实物的迁移学习策略。例如，研究者利用该数据集验证了融合语音与手势相较于单一模态在任务理解精度上的显著优势，并开发了相应的双流神经网络模型，为后续更复杂的多模态交互系统研究提供了可复现的基准与范式。

数据集最近研究

最新研究方向

在自然人机交互领域，NatSGD数据集的推出标志着多模态机器人学习进入了一个新阶段。该数据集融合了语音、手势与机器人演示轨迹，为复杂日常任务如烹饪与清洁提供了前所未有的研究基础。当前的前沿探索聚焦于多模态人类任务理解，核心挑战在于如何将非结构化的语音和手势指令映射为形式化的任务表示，例如线性时序逻辑公式。这一方向不仅推动了跨模态融合算法的发展，如基于大型语言模型与姿态编码器的双流网络架构，还促进了仿真到真实场景的迁移学习研究。NatSGD所涵盖的丰富标注与真实交互场景，正成为开发能够理解隐含意图、处理模糊指令的下一代交互式机器人的关键驱动力，其影响已延伸至具身人工智能与可解释机器人决策等热点领域。

相关研究论文

• NatSGD: A Dataset with Speech, Gestures, and Demonstrations for Robot Learning in Natural Human-Robot Interaction

  马里兰大学帕克分校 · 2024年