HAGS: Hand and Glove Segmentation Dataset

HAGS数据集由德克萨斯大学奥斯汀分校机械工程系创建，专注于工业手套箱环境中的人机协作手和手套分割。该数据集包含1728帧的像素级标签，涵盖191个视频，总计9小时的内容。数据集的创建过程包括收集12名参与者的视频，设计了Jenga塔和工具箱拆解任务，以及使用绿色屏幕和手套穿戴情况来增加数据多样性。HAGS数据集主要用于评估和开发在工业环境中的人机协作安全系统，特别是在需要实时手部分割的应用中。

The HAGS dataset was created by the Department of Mechanical Engineering at The University of Texas at Austin, focusing on human-robot collaborative hand and glove segmentation in industrial glovebox environments. This dataset contains pixel-level annotations for 1,728 frames, spanning 191 videos with a total duration of 9 hours. The dataset creation process involved collecting videos from 12 participants, designing Jenga tower and toolbox disassembly tasks, and utilizing green screens and varied glove-wearing scenarios to enhance data diversity. The HAGS dataset is primarily used for evaluating and developing human-robot collaborative safety systems in industrial settings, particularly for applications requiring real-time hand segmentation.

搜集汇总

数据集介绍

构建方式

HAGS数据集的构建是通过在标准的能源部手套箱环境中录制12位参与者的16个视频，总计超过9小时的录像内容，并从中提取了超过1440帧图像进行标注。这些视频包括从鸟瞰角度和参与者右侧视角拍摄的两种相机角度。为了模拟实际工作环境中的挑战，数据集中还包括了一半视频中的裸手场景以及包含绿屏背景的视频。这些绿屏背景的视频用于后期合成不同的纹理和颜色，以创建具有挑战性的测试条件。数据标注由人类标注员完成，他们使用LabelStudio软件和MobileSAM模型提供的粗略标签进行精确标注，确保了标注的一致性和质量。

特点

HAGS数据集的特点在于其针对工业手套箱环境中的人手和手套分割任务，提供了真实世界的图像数据，这对于现有的主要关注住宅或商业领域的分割数据集来说是一个重要的补充。数据集包含了191个视频，总计约9小时的录像内容，以及1728个像素级标注的图像，涵盖了多种手部位置和手套颜色。此外，数据集还特别区分了左右手，这对于人机协作应用尤为重要。HAGS数据集还包含了用于评估模型不确定性的指标，这对于确保人机协作的安全性至关重要。

使用方法

HAGS数据集的使用方法主要包括以下步骤：首先，从数据集中提取用于训练和测试的图像帧；其次，使用标注软件（如LabelStudio）对图像进行标注，确保每个像素都被正确分类为左手、右手或背景；然后，使用深度学习模型（如UNet、BiSeNetv2或MobileSAM）对图像进行分割训练，并在训练过程中应用数据增强技术以提高模型的泛化能力；最后，在测试阶段，使用模型评估指标（如IoU、ECE和预测熵）来评估模型在正常和异常情况下的性能和不确定性。HAGS数据集还提供了用于生成合成图像的脚本，以便研究人员可以独立构建类似的数据集，用于评估模型的鲁棒性。

背景与挑战

背景概述

HAGS数据集，即手和手套分割数据集，是针对工业领域人机协作场景中手部识别的迫切需求而创建的。该数据集由德克萨斯大学奥斯汀分校的机械工程系研究人员于2024年提出，旨在为工业手套箱环境下的手部分割提供高质量的数据资源。HAGS数据集包含191个视频，总计9小时的联合组装任务内容，以及1728个像素级标签帧。该数据集的创建填补了现有工业领域数据集在多样性、真实性和不确定性估计方面的不足，为提高人机协作的安全性提供了重要的数据支持。

当前挑战

HAGS数据集面临的主要挑战包括：1)所解决的领域问题的挑战：尽管现有的手部分割数据集众多，但大多数集中在日常生活中的活动，如烹饪或玩牌，而针对工业领域，特别是手套箱环境下的数据集却相对匮乏。此外，现有的数据集往往缺乏多样性，无法涵盖不同人群的特征。2)构建过程中的挑战：在构建HAGS数据集的过程中，研究人员面临了如何确保数据真实性和多样性的挑战。他们需要确保数据能够真实反映工业手套箱环境下的手部操作，并包含不同人群的特征。此外，为了评估机器学习分类器的鲁棒性，研究人员还构建了包含绿色屏幕增强的场景，以模拟分布外的图像。这些挑战对于开发适用于工业手套箱环境的人机协作算法至关重要。

常用场景

经典使用场景

HAGS数据集最经典的使用场景是在工业环境中的人机协作，特别是手套箱环境下的协作组装任务。该数据集提供了1200个挑战性的示例，用于构建手部和手套分割的应用，并评估分布外图像，以确定机器学习分类器的鲁棒性。此外，该数据集还包含了12位参与者的视频，以最大程度地提高无手套数据的关联性，并支持多类分割，以区分左手和右手，这对于人机协作应用至关重要。

解决学术问题

HAGS数据集解决了现有工业领域数据集的几个常见问题。首先，该数据集填补了手套箱环境数据集的空白，提供了真实世界的图像，而不是合成图像。其次，该数据集包括了12位参与者，以增加数据的多样性和代表性。此外，该数据集还提供了多类分割，以区分左手和右手，这对于人机协作应用至关重要。最后，该数据集还报告了分割性能的全面基线，包括不确定性量化指标，这在以往的工作中是缺失的。

衍生相关工作

HAGS数据集衍生了一些相关的经典工作，包括基于该数据集开发的实时手部分割算法，以及用于评估机器学习分类器鲁棒性的不确定性量化指标。此外，该数据集还促进了人机协作领域的研究，并为人机协作应用提供了更多的可能性。最后，该数据集还激发了更多关于工业领域数据集的研究，以解决现有数据集的局限性。