BitRobot/2026-humanoid-ikea-assembly-challenge

该数据集名为2026 Humanoid IKEA Assembly Challenge，专注于2026年人形机器人IKEA组装挑战。它包含人形机器人（如Unitree Dex1-1）在组装IKEA家具（如儿童桌）过程中的原始数据，数据格式为ROS bag或MCAP。可用数据流包括头部立体相机流（RGB）、手腕立体相机流（RGB和IR）、关节状态与动作、末端执行器、惯性测量单元（IMU）以及注释信息。数据集旨在支持机器人学习与研究，特别是与硬件参考和LeRobot格式版本相关。The dataset is named 2026 Humanoid IKEA Assembly Challenge, focusing on the 2026 humanoid robot IKEA assembly challenge. It contains raw data from humanoid robots (e.g., Unitree Dex1-1) during the assembly of IKEA furniture (such as a childrens table), with data in ROS bag or MCAP format. Available data streams include head stereo camera streams (RGB), wrist stereo camera streams (RGB and IR), joint states and actions, end-effector, IMU, and annotations. The dataset aims to support robotics learning and research, particularly related to hardware references and a LeRobot-format version.

搜集汇总

数据集介绍

构建方式

该数据集面向人形机器人装配任务，基于Unitree Dex1-1灵巧手与G1人形机器人平台构建，通过ROS bag/MCAP格式采集原始数据。数据流涵盖头部与腕部立体相机的RGB与IR图像、关节状态与动作指令、末端执行器位姿、惯性测量单元读数及任务标注信息，为复杂装配行为研究提供多模态原始记录。

特点

数据集聚焦于家具装配这一具身智能基准任务，具有高度结构化与可复现性。其核心特征在于融合了第一人称头部视角与腕部近场立体视觉，辅以全身运动学与动力学状态，形成从感知到操控的闭环数据链。数据集规模虽小（小于1K样本），但每个样本均包含精细的时间同步多模态流，支持端到端模仿学习与行为克隆研究。

使用方法

用户可通过Foxglove Studio或Rerun等工具直接浏览ROS bag/MCAP格式的原始数据。如需面向LeRobot框架的训练版本，可访问配套仓库BitRobot/G1_WBT_Dex1_Building-Children-Table获取标准格式化数据。研究者可基于多视角视觉与运动状态流，设计视觉-运动联合编码器，或利用高精度末端执行器标注进行逆动力学学习，适用于人形机器人双臂协调装配策略的离线训练与评估。

背景与挑战

背景概述

2026 Humanoid IKEA Assembly Challenge数据集由BitRobot团队创建，旨在推动人形机器人在复杂装配任务中的研究。该数据集聚焦于机器人组装宜家儿童桌这一经典场景，通过Unitree G1人形机器人搭载Dex1-1灵巧手、头部及腕部立体摄像头等硬件采集多模态数据。研究核心在于探索人形机器人在真实环境中执行长序列、高精度操作时的感知、规划与控制能力。自发布以来，该数据集为仿人机器人灵巧操作、任务推理及人机协作等方向提供了标准化评估基准，对推动通用操作智能的发展具有重要参考价值。

当前挑战

该领域面临的核心挑战包括：1）人形机器人在复杂装配任务中需实现从视觉感知到灵巧操作的全链路闭环，涉及多模态数据融合与实时决策；2）装配任务对位姿精度与力控稳定性要求极高，机器人在连续操作中易累积误差导致任务失败。在数据集构建过程中，需解决多传感器（头戴与腕部立体相机、IMU、关节编码器）的时空同步问题，并设计精准的标注方案以匹配实时操作与事后注释，同时应对ROS数据采集时的延迟抖动与数据丢失等工程难题。

常用场景

经典使用场景

在具身智能与机器人操控研究领域，2026-humanoid-ikea-assembly-challenge数据集为类人机器人执行复杂装配任务提供了宝贵的多模态数据支撑。该数据集的核心应用场景聚焦于让双足人形机器人基于视觉与触觉反馈完成家具组装，例如使用Unitree Dex1-1灵巧手抓取木板、螺丝等部件，并依据头戴式与腕部立体相机提供的RGB与红外图像流，实时调整关节状态与末端执行器位姿，从而精确完成对齐、插入、旋拧等精细操作。这一场景高度模拟了人类在真实家居环境中的组装行为，是检验机器人灵巧操作能力、视觉伺服控制以及运动规划算法鲁棒性的典型基准。

实际应用

在实际产业与生活场景中，该数据集所承载的装配技能学习范式具有显著的应用价值。随着人口老龄化加剧及劳动力成本上升，家庭简易家具的自助化组装需求日益迫切，而传统工业机器人因体型笨重、缺乏柔顺性难以胜任此类工作。基于此数据训练的人形机器人可逐步实现在居家环境中自主完成宜家儿童桌等产品的组装，将用户从繁琐的说明书解读与体力操作中解放出来。此外，数据集中涵盖的灵巧手操作与双目视觉定位技术还可外溢至精密仪器维修、医疗手术辅助及太空舱内设备部署等对操作精度要求极高的领域，为人机协作的深度进化奠定了实证基础。

衍生相关工作

围绕2026-humanoid-ikea-assembly-challenge数据集，衍生出一系列推动具身智能发展的标志性工作。例如，研究团队基于原始ROS bag数据开发了LeRobot格式的标准化子集（G1_WBT_Dex1_Building-Children-Table），极大降低了新手研究者利用数据进行模仿学习与强化学习的门槛。受该数据集启发，后续工作如‘Visuomotor Policy Learning for Bimanual Assembly’探索了如何通过解耦头眼与腕眼坐标系来提升视觉运动策略的泛化性，而‘Whole-Body Control via Tactile-Guided In-Hand Manipulation’则利用其中的IMU与关节状态数据构建了全身柔顺控制模型。这些衍生研究共同证实了高质量装配操作数据集在推动人形机器人从实验室走向真实世界过程中的基石作用。