BimanGrasp-Dataset

BimanGrasp-Dataset是一个大规模的合成数据集，包含一对影子机器人手抓取各种物体的数据。所有抓取动作都通过Isaac Gym模拟器验证，并通过了渗透测试（阈值：1.5毫米）。该数据集提供了抓取姿态数据、物体网格和其他资产，并支持使用plotly包进行可视化。

BimanGrasp-Dataset is a large-scale synthetic dataset containing data collected from a pair of Shadow Robot Hands performing grasps on diverse objects. All grasping motions were validated using the Isaac Gym simulator and passed penetration testing with a threshold of 1.5 millimeters. This dataset provides grasping pose data, object meshes and other relevant assets, and supports visualization via the Plotly package.

原始信息汇总

BimanGrasp-Dataset

简介

BimanGrasp-Dataset 是一个大规模的合成数据集，包含一对影子机器人手抓取各种物体的数据。所有抓取动作均通过 Isaac Gym 模拟器验证，并通过了渗透测试（阈值：1.5 mm）。该数据集提供了抓取姿态数据、物体网格和其他资产。所有抓取动作均可使用 plotly 包进行可视化。

安装

建议使用 conda/mamba 环境来加载和可视化双手抓取姿态。

环境设置

bash conda create -n bimangrasp python=3.7 conda activate bimangrasp

依赖安装

bash conda install pytorch==1.12.1 torchvision==0.13.1 cudatoolkit=11.3 -c pytorch pip install trimesh plotly numpy argparse transforms3d

第三方包安装

bash cd third_party && wget https://github.com/facebookresearch/pytorch3d/archive/refs/tags/v0.7.1.tar.gz && tar -xzvf v0.7.1.tar.gz && cd v0.7.1.tar.gz && pip install -e. && cd ../.. cd third_party/pytorch_kinematics && pip install -e . cd ../third_party/torchSDF && pip install -e . && cd ../..

可视化

首先，从 https://github.com/Tsunami-kun/BimanGrasp-Dataset/releases 下载数据集和物体网格，并将其解压到仓库的根目录。

可视化命令

bash python visualization.py --object_name <object_name> --num <num>

示例

可视化示例（包括2D截图和3D HTML可视化）位于 examples/ 目录中。

致谢

感谢以下仓库的作者，我们在代码中参考了他们的工作：

• DexGraspNet
• UGG

引用

如果您在研究中使用了此仓库，请引用以下文献：

@article{shao2024bimanual, title={Bimanual Grasp Synthesis for Dexterous Robot Hands}, author={Shao, Yanming and Xiao, Chenxi}, journal={IEEE Robotics and Automation Letters}, year={2024}, publisher={IEEE} }

搜集汇总

数据集介绍

构建方式

BimanGrasp-Dataset的构建基于大规模的合成数据生成，专注于双影机器人手对各种物体的抓取。所有抓取姿势均通过Isaac Gym模拟器进行验证，并通过了穿透测试（阈值为1.5毫米）。数据集包括抓取姿势数据、物体网格模型及其他相关资源，确保了数据的真实性和可靠性。

特点

该数据集的显著特点在于其大规模性和合成性，涵盖了多种物体的双影机器人手抓取姿势。所有数据均经过严格的模拟验证和穿透测试，确保了数据的高质量。此外，数据集提供了丰富的可视化工具，便于用户直观地理解和分析抓取姿势。

使用方法

使用BimanGrasp-Dataset时，建议通过conda或mamba环境进行安装和可视化。首先，下载并解压数据集和物体网格模型至根目录。随后，利用提供的Python脚本进行可视化，通过指定物体名称和抓取姿势编号，生成3D HTML格式的可视化结果。数据集的可视化示例可在examples目录中找到。

背景与挑战

背景概述

BimanGrasp-Dataset是由Shao Yanming和Xiao Chenxi等研究人员于2024年创建的大型合成数据集，旨在支持双手机器人手抓取合成研究。该数据集通过Isaac Gym模拟器验证，确保所有抓取姿势通过渗透测试（阈值：1.5 mm）。其核心研究问题在于生成和验证双手机器人手的抓取姿势，这对于提升机器人操作的灵活性和精确性具有重要意义。BimanGrasp-Dataset的发布不仅丰富了机器人抓取领域的数据资源，也为相关研究提供了新的实验平台和基准。

当前挑战

BimanGrasp-Dataset在构建过程中面临的主要挑战包括：首先，生成和验证大量双手机器人手的抓取姿势需要高效的模拟和计算资源，这对硬件和软件的性能提出了高要求。其次，确保抓取姿势的物理可行性和稳定性，通过渗透测试来验证，这一过程需要精确的物理模拟和严格的阈值设定。此外，数据集的可视化和交互性也是一个挑战，需要开发相应的工具和接口，以便研究人员能够直观地分析和利用这些数据。

常用场景

经典使用场景

在机器人学领域，BimanGrasp-Dataset 数据集的经典使用场景主要集中在双手机器手的抓取合成任务中。该数据集通过模拟一对影子机器人手抓取各种物体的过程，提供了大量经过验证的抓取姿态数据。这些数据不仅包括抓取姿态的详细信息，还附带了对象的网格模型和其他相关资产。通过使用 Isaac Gym 模拟器进行渗透测试（阈值为 1.5 mm），确保了抓取姿态的准确性和可行性。研究者可以利用这些数据进行算法开发和验证，以提升双手机器手在复杂环境中的操作能力。

衍生相关工作

BimanGrasp-Dataset 数据集的发布催生了一系列相关的经典工作。例如，基于该数据集，研究者开发了多种抓取合成算法，如深度学习模型和强化学习策略，显著提升了双手机器手的抓取性能。此外，该数据集还被用于验证和比较不同抓取合成方法的优劣，推动了机器人抓取领域的技术进步。同时，该数据集的发布也促进了跨领域的合作，如计算机视觉、机器学习和机器人学的结合，进一步拓宽了其应用范围和影响力。

数据集最近研究

最新研究方向

在机器人学领域，BimanGrasp-Dataset的引入为双手机器人手的抓取合成研究提供了丰富的数据支持。该数据集通过Isaac Gym模拟器验证了大量双手机器人手的抓取姿态，并通过渗透测试确保了抓取的稳定性。这不仅推动了机器人抓取算法的发展，还为多指灵巧手的双臂协同操作提供了新的研究视角。随着机器人技术的不断进步，BimanGrasp-Dataset在提升机器人操作精度和效率方面展现出巨大的潜力，成为当前机器人学研究中的一个重要前沿方向。