相关数据集
TLV (Touch-Language-Vision)
TLV数据集是由北京交通大学北京交通数据分析与挖掘重点实验室创建，旨在通过人机协同方式实现触觉、语言和视觉的多模态对齐。该数据集包含20000对同步的触觉和视觉观察，其中详细标注了19834个实例，每个实例都附有句子级别的描述。创建过程中，通过使用GelSight传感器和VisGel数据集收集触觉和视觉数据，并利用GPT-4V进行文本标注。TLV数据集主要应用于触觉相关的多模态感知研究，特别是解决
arXiv2024-05-10 更新721
NatSGD
NatSGD是一个多模态人机交互数据集，由马里兰大学帕克分校创建。该数据集包含1143条通过语音和手势发出的自然人类指令，同步记录了机器人的行为演示。数据集内容涵盖日常厨房任务，如食物准备、烹饪和清洁，旨在训练机器人理解复杂任务。创建过程中采用了Wizard of Oz实验设计，确保交互的自然性。NatSGD的应用领域包括多模态感知、视觉识别、模仿学习等，旨在解决人机交互中的任务理解问题。
arXiv2024-03-05 更新640
Facial Expression and Touch gesture Emotion (FETE) dataset
The FETE dataset comprises facial expressions and touch gestures to fully utilize the interactive information from the two modalities during HRI. The dataset is organized into ten folders, where each
DataONE2023-05-25 更新710
