wild-mani-kitchen

WILD-Mani: Kitchen Edition 是一个专注于真实世界厨房环境中双手操作任务的数据集，旨在支持从模拟到现实的转移研究。该数据集通过混合现实（MR）头戴设备捕获人类在真实厨房中的操作演示，同时跟踪双手的6自由度姿态。数据集包含102个演示片段，总计79,244帧，帧率为30 FPS。数据涵盖了多种厨房操作任务，如从冰箱取物、放置杯子、整理餐具和布置餐桌等，涉及15种以上的厨房物品和4种以上的动作类型。数据集采用LeRobot v3.0格式，包含动作空间（14维）和观察空间（包括双手腕部姿态、完整手部骨架和中心眼摄像头视图）。数据采集使用Meta Quest 3头戴设备，通过Unity-based录制系统在真实厨房环境中完成。数据集适用于机器人模仿学习研究，特别是双手操作任务。WILD-Mani: Kitchen Edition is a dataset focused on dual-arm manipulation tasks in real-world kitchen environments, aiming to support sim-to-real transfer research. It captures human operation demonstrations in real kitchens via mixed reality (MR) headsets while tracking the 6-degree-of-freedom (6DoF) poses of both hands. The dataset contains 102 demonstration segments, totaling 79,244 frames with a frame rate of 30 FPS. It covers a variety of kitchen manipulation tasks, such as retrieving items from the refrigerator, placing cups, tidying tableware and setting dining tables, involving more than 15 kitchen items and over 4 action types. The dataset is formatted in LeRobot v3.0, and includes an action space (14-dimensional) and an observation space including dual-wrist poses, full hand skeletons and center-eye camera views. Data collection was carried out using Meta Quest 3 headsets with a Unity-based recording system in real-world kitchen environments. This dataset is applicable to robotic imitation learning research, particularly for dual-arm manipulation tasks.

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，获取真实世界的高质量演示数据是推动算法从仿真向实际应用迁移的关键。WILD-Mani: Kitchen Edition 数据集通过混合现实技术，在真实的厨房环境中采集了人类双手操作演示。具体而言，研究者使用 Meta Quest 3 头戴设备，在自然光照条件变化的实际厨房场景中，录制了涵盖备餐与餐具整理等任务的102个演示片段。系统以30帧每秒的速率，同步追踪双手的6自由度位姿及完整的26关节骨骼信息，并记录中心眼摄像头的视觉观察，最终数据以符合 LeRobot v3.0 格式的 Parquet 文件进行组织与存储。

特点

该数据集的核心特点在于其高度的真实性与双手机器人操作的针对性。所有演示均采集自物理厨房环境，而非仿真模拟，确保了光照、物体材质与场景布局的真实多样性。数据集专门针对双手协调操作设计，同时提供左右手的精确位姿、关节位置及动作标签，为模仿学习研究提供了丰富的多模态信号。其任务设计覆盖了从简单的拾取放置到包含开关冰箱门的多步骤序列，复杂度呈梯度分布，且涉及超过15种不同尺寸与形状的厨房物品，构成了一个具有挑战性的真实世界操作基准。

使用方法

对于旨在研究机器人双手操作与仿真到现实迁移的研究者而言，该数据集提供了标准化的接入方式。数据遵循 LeRobot v3.0 格式，用户可通过加载指定的 Parquet 文件便捷地访问观测与动作数据。观测空间包含视觉图像、双手腕部位姿及完整的关节姿态；动作空间则为14维的双手位姿增量。研究者可利用这些数据训练行为克隆或离线强化学习模型，以学习在真实厨房环境中执行复杂的双手操作策略。数据集清晰的元数据与统计信息有助于进行任务划分与性能评估。

背景与挑战

背景概述

在机器人操作领域，尤其是涉及复杂环境交互的双臂操作任务中，获取高质量、真实世界的人类示范数据一直是推动模仿学习与仿真到现实迁移研究的关键。WILD-Mani: Kitchen Edition数据集应运而生，由OOJU团队于2026年创建，并作为WILD-Mani系列的首个版本发布。该数据集专注于厨房环境下的双臂操作任务，通过混合现实头戴设备在真实厨房场景中采集高保真的人类示范数据，旨在为双臂机器人模仿学习提供现实世界的参考基准，从而促进机器人操作技能在复杂、非结构化环境中的实际应用。

当前挑战

该数据集致力于解决真实厨房环境中双臂操作任务的模仿学习挑战，其核心难题在于如何准确捕捉并建模人类双手在复杂任务中的协调运动与精细操作，例如同时处理多个物体、执行多步骤序列任务（如从冰箱中取物并放置）。在构建过程中，挑战主要源于在动态变化的真实光照条件下确保混合现实手部追踪的精度与鲁棒性，以及将高维的关节姿态数据与视觉观察有效对齐，以支持后续的机器人策略学习与仿真到现实迁移。

常用场景

经典使用场景

在机器人操作学习领域，WILD-Mani: Kitchen Edition数据集为双手机器人模仿学习提供了关键支持。该数据集通过混合现实技术在真实厨房环境中采集人类双手操作演示，涵盖从冰箱取物、餐具整理到餐桌布置等多种任务。其高保真的手部姿态跟踪与丰富的环境多样性，使得研究者能够基于真实世界数据训练机器人执行复杂的双手协调动作，有效弥合仿真与现实之间的鸿沟。

实际应用

在实际应用层面，该数据集可直接服务于家庭服务机器人的开发，特别是在厨房场景下的自动化操作。基于数据训练的机器人能够执行如餐具整理、食材准备等日常任务，提升生活辅助效率。此外，数据集也可用于工业环境中的双手装配或精密操作训练，为机器人适应复杂、非结构化的真实环境提供数据基础，加速服务机器人与协作机器人的落地进程。

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作，主要集中在机器人模仿学习与双手操作策略的优化。例如，基于其真实世界演示数据，研究者开发了增强仿真到现实迁移能力的算法，以及改进双手协调控制的深度强化学习模型。这些工作不仅提升了机器人执行厨房任务的性能，还推动了混合现实数据采集标准在机器人社区的普及，为后续更大规模的真实世界操作数据集奠定了基础。