Synthetic dataset for vision-based prosthetic grasping

我们介绍了一个为基于视觉的假肢抓握设计的合成数据集生成管道。该方法通过在每个要抓握的对象部分上叠加一个透明平行六面体来支持每个对象的多个抓握。相机沿着一条直线朝向对象部分移动，同时记录视频。场景、初始相机位置和对象姿态在每个视频中随机化。我们使用了YCB数据集中的15个对象，其中7个有一个抓握，8个有多个抓握，共形成了31个抓握类型-对象部分对。

We introduce a synthetic dataset generation pipeline designed for vision-based prosthetic grasping. This method supports multiple grasps per object by overlaying a transparent parallelepiped on each graspable object part. The camera moves along a straight line towards the object part while recording the video. The scene, initial camera position, and object pose are randomized in each video. We utilized 15 objects from the YCB dataset, with 7 objects having a single grasp and 8 objects having multiple grasps, resulting in a total of 31 grasp type-object part pairs.

原始信息汇总

数据集概述

数据集名称

• Grasp Pre-shape Selection by Synthetic Training: Eye-in-hand Shared Control on the Hannes Prosthesis

数据集描述

• 该数据集是为基于视觉的假肢抓取设计的合成数据集。通过在每个对象部分上叠加透明平行六面体来支持多个抓取。相机沿着直线朝向对象部分移动并记录视频。场景、初始相机位置和对象姿态在每个视频中随机化。
• 使用15个YCB数据集中的对象，其中7个对象有一个抓取，8个对象有多个抓取，共形成31个抓取类型-对象部分对。

数据集生成

• 使用Unity 2020.3.11.f1进行数据集生成。
• 数据集生成包括随机化场景、初始相机位置和对象姿态，以及通过透明平行六面体支持多个抓取。
• 生成过程涉及设置如Lit Shader Mode和Motion Blur等项目设置，以及调整迭代计数和每次抓取的迭代次数。

数据集格式转换

• 提供脚本将生成的视频帧和标签转换为实验管道所需的格式。
• 视频组织结构为：DATASET_BASE_FOLDER/CATEGORY_NAME/OBJECT_NAME/PRESHAPE_NAME/Wrist_d435/rgb*/*.png。

相关资源

• 论文: 链接
• 演示视频: 链接
• 演示文稿视频: 链接
• 合成数据集: 链接
• 真实数据集: 链接

引用信息

@inproceedings{vasile2022, author = {F. Vasile and E. Maiettini and G. Pasquale and A. Florio and N. Boccardo and L. Natale}, title = {Grasp Pre-shape Selection by Synthetic Training: Eye-in-hand Shared Control on the Hannes Prosthesis}, booktitle = {2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)}, year = {2022}, month = {Oct}, }

搜集汇总

数据集介绍

构建方式

该数据集的构建采用了基于Unity引擎的合成数据生成管道，旨在支持视觉驱动的假肢抓取研究。通过在物体抓取部分叠加透明平行六面体，系统支持每个物体的多种抓取方式。在视频录制过程中，摄像头沿直线向物体部分移动，同时随机化场景、初始摄像头位置和物体姿态。数据集包含来自YCB数据集的15个物体，其中7个物体具有单一抓取方式，8个物体具有多种抓取方式，共生成31种抓取类型与物体部分的组合。

特点

该数据集的特点在于其高度可控的合成数据生成过程，能够模拟多种抓取场景。每个抓取类型与物体部分的组合均生成50个视频，总计1550个视频，确保了数据的多样性和丰富性。数据集还提供了详细的标签和元数据，便于后续的模型训练和验证。此外，数据集的生成过程具有高度可定制性，用户可以根据需求调整生成视频的数量和输出路径。

使用方法

使用该数据集时，首先需在Unity环境中加载项目并配置相关设置，如启用Lit Shader Mode和禁用Motion Blur。用户可通过调整参数生成不同数量的视频，并通过脚本将生成的视频帧和标签转换为实验所需的格式。数据集的使用场景广泛，适用于假肢抓取模型的训练与测试，用户可通过提供的实验管道进一步验证模型性能。

背景与挑战

背景概述

Synthetic dataset for vision-based prosthetic grasping 数据集由意大利技术研究院（IIT）的研究团队于2022年创建，旨在解决基于视觉的假肢抓取问题。该数据集通过Unity引擎生成，结合了YCB数据集中的15个物体，生成了31种抓取类型与物体部分的组合。研究团队通过随机化场景、相机位置和物体姿态，生成了1550个视频样本，用于训练和验证假肢抓取模型。该数据集的研究成果已被IROS 2022会议接受，并在假肢控制领域展示了显著的潜力，尤其是在眼手协同控制方面。

当前挑战

该数据集在构建过程中面临多重挑战。首先，生成合成数据时需要确保场景的多样性和真实性，以模拟真实世界中的复杂抓取场景。其次，数据生成过程中需要对相机运动、物体姿态和光照条件进行精确控制，以确保数据的质量和一致性。此外，数据集的构建还涉及到大量的计算资源和时间投入，特别是在生成高分辨率视频和标注数据时。最后，如何将合成数据与实际假肢抓取任务有效结合，也是一个重要的挑战，需要进一步的研究和优化。

常用场景

经典使用场景

在视觉辅助假肢抓取领域，该数据集通过合成数据生成管道，模拟了多种抓取姿态下的物体抓取场景。数据集中的每个物体部分都被覆盖了一个透明的平行六面体，相机沿着直线向物体部分移动并记录视频。这种设计使得数据集能够广泛应用于假肢抓取算法的训练和验证，尤其是在缺乏真实数据的情况下，提供了丰富的训练样本。

解决学术问题

该数据集解决了视觉辅助假肢抓取领域中的一个关键问题：如何在缺乏真实抓取数据的情况下，训练出高效的抓取算法。通过合成数据生成管道，研究人员可以生成大量多样化的抓取场景，从而显著提升算法的泛化能力和鲁棒性。这一突破为假肢抓取技术的进一步发展奠定了坚实的基础。

衍生相关工作

该数据集衍生了一系列经典研究工作，尤其是在假肢抓取算法的开发和优化方面。基于该数据集的研究成果已在多个国际会议上发表，并推动了假肢抓取技术的进一步发展。此外，该数据集还为其他相关领域的研究提供了重要参考，如机器人抓取、物体识别等。