HaDR

HaDR数据集是由奥斯特拉瓦技术大学机械工程学院机器人系创建的合成RGB-D数据集，包含117,000个样本，用于训练多模态实例分割模型。该数据集通过领域随机化技术生成，涵盖了随机位置和方向的手部模型，以及各种几何形状和干扰物，以模拟复杂的工业环境。数据集的创建旨在解决现有数据集在颜色和手部位置上的局限性，特别适用于工业环境中的人机交互接口，以提高模型在复杂和非结构化环境中的预测准确性。

The HaDR dataset is a synthetic RGB-D dataset created by the Department of Robotics, Faculty of Mechanical Engineering, VŠB-Technical University of Ostrava, containing 117,000 samples intended for training multimodal instance segmentation models. Generated via domain randomization techniques, this dataset encompasses hand models with random positions and orientations, along with various geometric shapes and distractors, aiming to simulate complex industrial environments. The dataset was developed to address the limitations of existing datasets regarding color and hand positioning, and is particularly suitable for human-robot interaction interfaces in industrial environments, with the goal of improving the prediction accuracy of models in complex and unstructured environments.

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，合成数据集的构建已成为解决现实世界数据稀缺与标注成本高昂问题的重要途径。HaDR数据集采用领域随机化技术，在CoppeliaSim仿真平台中构建三维场景，通过随机化手部模型姿态、纹理、背景、光照及干扰物体等参数，生成包含RGB与深度信息的合成图像。该生成流程利用脚本自动控制手部模型在相机视野内以网格形式遍历，确保数据分布均匀性，并自动生成像素级精确的实例分割掩码，最终形成包含约11.7万张图像的多模态数据集。

特点

HaDR数据集的核心特点在于其针对工业环境中手部实例分割任务的专业设计。该数据集通过领域随机化策略，刻意引入非真实感纹理与随机干扰，迫使模型学习手部形状等本质特征，而非依赖肤色或纹理等表面信息，从而实现对工作手套颜色不敏感的鲁棒识别。数据集涵盖复杂背景、多变光照及多种干扰物体，且手部实例在图像中的位置分布广泛，突破了现有数据集常将手部置于图像中心或假设其为最近物体的局限。此外，其提供的RGB-D多模态数据为模型提供了互补的视觉与几何信息。

使用方法

该数据集主要用于训练和评估面向杂乱工业环境的手部实例分割模型。研究人员可直接使用其提供的COCO格式标注，在MMDetection等框架下训练如Mask R-CNN、SOLOv2等主流实例分割网络。数据集支持以纯RGB、纯深度或RGB-D融合作为输入模态，便于探究不同模态对模型性能的影响。训练后的模型可在真实工业场景的RGB-D相机数据上进行测试与部署，用于构建颜色无关的人机交互界面。数据集的预训练模型也可直接用于下游应用或作为基线进行性能比较。

背景与挑战

背景概述

HaDR数据集由奥斯特拉瓦技术大学机器人学系的研究团队于2023年创建，旨在解决工业环境中手部实例分割的特定挑战。该数据集通过领域随机化技术生成合成RGB-D数据，以训练多模态实例分割模型，实现对手部位置的颜色无关性定位。其核心研究问题聚焦于克服现有数据集的局限性，如对肤色纹理的过度依赖、手部实例在图像中的位置偏差以及缺乏背景干扰物等。HaDR的提出为工业人机交互场景提供了高质量的训练资源，推动了基于视觉的手势识别与手部跟踪技术在复杂非结构化环境中的实际应用。

当前挑战

HaDR数据集致力于解决工业环境中手部实例分割的领域挑战，特别是在杂乱背景下实现颜色无关的手部定位。构建过程中的主要挑战包括：第一，采用领域随机化技术生成合成数据时，需在保持手部形状关键特征的同时，通过随机化纹理、光照和干扰物来强制模型学习本质特征，而非表面细节；第二，确保生成的数据集能够覆盖手部在相机视野中的全范围位置，避免现有数据集中常见的位置中心偏差问题；第三，在模拟环境中精确配置多模态传感器参数，以生成与现实RGB-D相机数据对齐的合成深度与彩色图像，从而有效弥合仿真与现实之间的差距。

常用场景

经典使用场景

在工业机器人协作与人机交互领域，HaDR数据集通过域随机化技术生成合成RGB-D数据，专门用于训练多模态实例分割模型。该数据集最经典的应用场景是复杂工业环境中手部实例的精准分割与定位，尤其针对佩戴不同颜色工作手套的手部检测。研究者在仿真平台CoppeliaSim中构建随机化场景，引入非真实感纹理、随机光照及干扰物体，迫使神经网络学习手部形状的本质特征而非依赖肤色纹理，从而在真实工业场景中实现颜色无关的鲁棒性手部定位。

实际应用

HaDR数据集的实际应用主要集中于工业自动化与人机协作场景。在智能制造环境中，该数据集训练的模型能够稳定识别操作人员佩戴各类工作手套的手部，实现基于手势的机器人控制、安全监控与交互界面开发。例如，在装配流水线或仓储物流中，系统可通过实时手部实例分割追踪工人动作，辅助机器人进行协同作业或避免碰撞。其颜色无关特性确保了在不同光照条件与手套颜色下的可靠性，为工业4.0背景下灵活、安全的人机协作系统提供了关键技术支持。

衍生相关工作

HaDR数据集的研究推动了多个相关经典工作的进展。在方法论层面，它深化了域随机化技术在合成数据生成中的应用，为后续研究如Tremblay等人关于合成数据训练目标检测模型的工作提供了扩展案例。在数据集比较方面，HaDR与EgoHands、HandSeg、DenseHands、RHD及ObMan等现有手部数据集形成对照，揭示了数据分布偏差对模型性能的影响。同时，该工作促进了多模态实例分割模型的优化，例如基于Mask R-CNN与SOLOv2架构的模型在RGB-D输入下的性能分析，为后续工业视觉任务中合成数据的使用与模型选择提供了重要参考。