Kaiwu

Kaiwu数据集是由同济大学电子与信息工程学院等机构创建的多模态机器人操作数据集。该数据集整合了人类、环境和机器人的数据收集框架，包含20个实验对象和30个交互对象，共计11664个集成的动作实例。数据集记录了装配过程中的手部运动、操作压力、声音、多视角视频、高精度运动捕捉信息、第一视角视线视频、肌电图信号等。数据集通过基于绝对时间戳的细粒度多层次标注和语义分割标注，旨在促进机器人学习、灵巧操作、人类意图调查和机器人与人类协作研究。

The Kaiwu Dataset is a multimodal robotic manipulation dataset created by the College of Electronics and Information Engineering of Tongji University and other institutions. This dataset integrates a data collection framework covering humans, environments and robots, including 20 experimental subjects and 30 interactive objects, totaling 11664 integrated action instances. The dataset records hand movements, operation pressure, audio, multi-view videos, high-precision motion capture data, first-person egocentric vision videos, electromyography (EMG) signals and other types of data collected during the assembly process. With fine-grained multi-level annotations and semantic segmentation annotations based on absolute timestamps, this dataset is designed to promote research in robot learning, dexterous manipulation, human intent investigation and human-robot collaboration.

搜集汇总

数据集介绍

构建方式

Kaiwu数据集的构建方式是通过整合人、环境与机器人数据收集框架，利用20名参与者和30个交互对象，共收集了11,664个整合动作实例。数据收集包括手的运动、操作压力、组装过程的声响、多视角视频、高精度动作捕捉信息、第一人称视频中的眼动以及肌电图信号等。此外，还进行了基于绝对时间戳的细粒度多级标注和语义分割标注。

特点

Kaiwu数据集的特点包括：1) 多模态数据融合：整合了人、环境和机器人的多模态数据，包括手的运动、操作压力、声响、视频、动作捕捉信息、眼动、肌电图信号等；2) 细粒度标注：基于绝对时间戳，进行了细粒度多级标注和语义分割标注；3) 环境感知：涵盖了复杂的组装场景，包括动力学信息和细粒度标注。

使用方法

Kaiwu数据集的使用方法包括：1) 下载数据：数据已上传至ScienceDB，并提供DOI号码以便下载；2) 数据标注：数据集已经进行了初步的标注，包括动作分割、手势分割、语义分割、手势分类和感兴趣区域等；3) 数据格式：数据集包含多种类型的数据，包括肌电图数据、手套数据、眼动数据、RGB-D视频数据、运动捕捉数据和音频数据等，并以不同的文件格式存储。

背景与挑战

背景概述

Kaiwu数据集是在机器人学习领域，特别是针对复杂组装场景中的真实世界多模态数据同步缺失问题而创建的。该数据集由同济大学的研究团队于2025年提出，旨在通过提供整合人类、环境和机器人数据的框架，促进机器人学习、灵巧操作、人类意图探究以及人机协作研究。Kaiwu数据集的特点在于它集成了20名受试者和30个交互对象的数据，总共包含11,664个集成动作实例。每个演示都记录了手部运动、操作压力、组装过程中的声音、多视图视频、高精度运动捕捉信息、第一人称视频中的眼动和肌电图信号等数据。数据集还进行了基于绝对时间戳的细粒度多级注释和语义分割标注。

当前挑战

Kaiwu数据集面临的挑战主要包括两个方面：一是解决机器人学习领域的问题，如缺乏真实世界中的动态信息和细粒度的标注；二是构建过程中的挑战，如需要整合多种模态数据并确保数据同步。具体来说，Kaiwu数据集旨在解决当前数据集中缺乏动态信息的问题，例如，大多数数据主要依赖于视频，因此缺乏动态信息，而机器人学习是一个与周围环境动态交互的过程。此外，数据集还面临构建一个通用的、复杂的、直观的人类水平感知框架的挑战，以适应智能机器人工作环境从固定和集中设置到开放和复杂设置的转变。Kaiwu数据集通过提供丰富的动态信息和多模态数据，为机器人学习提供了新的可能性，同时也为人机协作研究提供了重要的数据基础。

常用场景

经典使用场景

在机器人学习和人机交互领域，Kaiwu数据集被广泛用于训练和评估机器人的复杂操作技能。该数据集提供了丰富的多模态信息，包括人手的运动、操作压力、组装过程中的声音、多视角视频、高精度运动捕捉信息、眼动追踪以及肌电图信号等，这些信息有助于机器人模仿人类的行为和意图。此外，Kaiwu数据集还支持对人类意图的预测，从而实现更有效的策略开发。例如，通过分析人类在组装过程中的眼动追踪数据和肌电图信号，机器人可以更好地理解人类的操作意图，并据此调整自己的行为，实现更自然、更智能的人机交互。

衍生相关工作

Kaiwu数据集的发布促进了机器人学习和人机交互领域的研究。基于Kaiwu数据集，研究人员可以开发新的学习算法和模型，以提高机器人的操作技能和人机交互能力。此外，Kaiwu数据集还可以用于评估和比较不同机器人学习和人机交互算法的性能，为该领域的研究提供重要的参考。

数据集最近研究

最新研究方向

Kaiwu数据集的提出，标志着机器人学习领域对大规模、高质量多模态数据集的需求日益增长。该数据集整合了人类、环境和机器人数据收集框架，旨在解决复杂组装场景中缺乏真实世界同步多模态数据的问题，特别是动力学信息和精细粒度标签。Kaiwu数据集不仅支持机器人从人类演示中学习，还促进了对人类意图的预测，以实现更有效的策略开发。这一研究方向在机器人学习、灵巧操作、人类意图调查和人机协作研究方面具有重要的意义和影响，为机器人学习领域提供了新的研究思路和方法。

相关研究论文

• Kaiwu: A Multimodal Manipulation Dataset and Framework for Robot Learning and Human-Robot Interaction

  同济大学电子与信息工程学院，上海市201804，中国；教育部自主智能无人系统重点实验室，上海200120，中国 · 2025年