IKEA Object State Dataset

IKEA Object State Dataset是由德国人工智能研究中心创建的大型多视角数据集，专注于IKEA家具装配过程中的6DoF对象姿态估计。数据集包含IKEA家具的3D模型、RGBD视频、对象部件的6DoF姿态及其边界框，总计1,171,897帧。创建过程中使用了四台Microsoft Kinect Azure相机同步记录装配过程，确保无盲点视频序列。该数据集旨在解决增强现实辅助装配中的对象状态检测问题，提高装配效率并减少人为错误。

The IKEA Object State Dataset is a large-scale multi-view dataset developed by the German Research Center for Artificial Intelligence, focusing on 6-degree-of-freedom (6DoF) object pose estimation during IKEA furniture assembly processes. This dataset contains 3D models of IKEA furniture, RGBD videos, 6DoF poses of object components and their bounding boxes, with a total of 1,171,897 frames. Four Microsoft Kinect Azure cameras were used to synchronously record the assembly process during its creation, ensuring blind-spot-free video sequences. This dataset aims to address the problem of object state detection in augmented reality-assisted assembly, so as to improve assembly efficiency and reduce human errors.

搜集汇总

数据集介绍

构建方式

在增强现实辅助装配的背景下，IKEA Object State Dataset的构建采用了多视角同步采集策略。研究团队部署了四台微软Kinect Azure深度相机，以俯视角度环绕操作空间，确保对装配过程的无盲区覆盖。通过主从设备同步机制，系统同时录制RGB与深度视频流，并借助地面标记板标定相机间的相对位姿。数据标注环节，首先依据装配步骤手动划分视频帧的状态类别，随后仅在每个状态的起始帧提供物体部件的初始位姿估计，其余帧的六自由度位姿则通过迭代最近点算法对多视角点云与三维模型进行配准与优化得到，从而高效生成大规模精确位姿注释。

特点

该数据集的核心特点在于其专注于多状态装配物体的六自由度位姿估计。与以往关注刚性物体或人类行为的数据集不同，它收录了宜家家具这类由多个无纹理、同色同形部件构成的组装体，其部件外观相似且运动细微，对位姿估计构成了显著挑战。数据集提供了完整的三维网格模型、同步采集的多视角RGB-D图像序列，以及每一帧中每个家具部件的精确六自由度位姿和边界框注释。这种设计旨在弥合合成数据与现实装配场景之间的差距，特别是模拟了真实操作中由人为交互产生的复杂遮挡与部件运动。

使用方法

该数据集主要服务于基于深度学习的物体状态检测与六自由度位姿估计算法的开发与评测。研究者可利用其提供的三维模型与多视角RGB-D图像序列，训练模型以理解并预测装配过程中各个部件的空间位置与旋转状态。具体而言，数据集支持从合成数据预训练到真实数据微调的研究范式，也可用于评估模型在部件外观相似、存在遮挡等复杂条件下的鲁棒性。通过提供的位姿真值，研究者能够定量分析算法的估计精度，进而推动增强现实辅助装配等应用的技术进步。

背景与挑战

背景概述

在工业4.0与智能制造浪潮中，增强现实技术已成为提升产品装配效率的关键工具。由德国凯泽斯劳滕工业大学、德国人工智能研究中心与宜家联合发布的IKEA Object State Dataset，于2021年问世，旨在解决多状态装配物体的六自由度姿态估计难题。该数据集聚焦于家具装配过程中的物体状态检测，通过提供精细的部件位姿信息，为基于深度学习的装配辅助系统提供了至关重要的训练与评估基准，推动了人机交互与智能装配领域的算法革新。

当前挑战

该数据集致力于应对装配场景中物体状态检测的核心挑战：在动态、遮挡严重的真实环境下，精准估计每个可移动部件的六自由度姿态。构建过程中的挑战尤为显著：首先，宜家家具部件常呈现纹理缺失、颜色形状相似的特征，导致表观信息歧义；其次，装配动作可能极为细微，如小幅旋转，难以从视觉上区分；再者，部件间遮挡、人体运动遮挡及视角变化进一步增加了标注复杂度。为此，研究团队部署了四台同步RGBD相机以覆盖无盲区视角，并采用手工标注结合迭代最近点算法的混合策略，以攻克数据采集与高精度位姿标注的技术壁垒。

常用场景

经典使用场景

在增强现实与智能制造领域，IKEA Object State Dataset 为六自由度物体姿态估计提供了关键基准。该数据集通过多视角RGBD视频捕捉宜家家具组装过程，精确标注每个组件的六自由度姿态与边界框，成为训练和评估物体状态检测模型的经典资源。其独特之处在于聚焦于可拆卸组件的动态变化，弥补了传统刚性物体数据集的不足，为复杂装配场景下的视觉算法开发奠定了数据基础。

衍生相关工作

该数据集衍生了一系列经典研究工作，例如基于双层级组注意力的装配状态检测方法（TGA）和深度融合的多状态物体姿态估计框架。这些工作利用数据集的多视角同步标注特性，探索了在遮挡和纹理缺失条件下的鲁棒姿态估计策略。同时，数据集也促进了与IKEA ASM Dataset等装配数据集的对比与融合研究，进一步拓展了人-物交互分析与任务导向活动理解的研究边界。

数据集最近研究

最新研究方向

在增强现实与智能制造领域，IKEA Object State Dataset 的推出为多状态装配物体的六自由度姿态估计开辟了新的研究路径。该数据集聚焦于家具装配过程中各组件在动态变化下的精确位姿标注，弥补了现有数据集中对可变形物体及复杂交互场景的覆盖不足。前沿研究正致力于利用该数据集开发鲁棒的深度学习模型，以应对纹理缺失、部件相似性及遮挡等挑战，从而提升装配状态检测的准确性与实时性。这一进展不仅推动了工业自动化中的人机协作效率，也为虚拟装配指导系统的优化提供了关键数据支撑，具有显著的工程应用价值。

相关研究论文

• IKEA Object State Dataset: A 6DoF object pose estimation dataset and benchmark for multi-state assembly objects

  德国人工智能研究中心 · 2021年