DexGraspNet2.0
收藏github2024-12-17 更新2024-12-27 收录
下载链接：
https://github.com/PKU-EPIC/DexGraspNet2
下载链接
链接失效反馈官方服务：
资源简介：
DexGraspNet 2.0是一个大规模合成杂乱场景中的生成式灵巧抓取学习数据集。
DexGraspNet 2.0 is a large-scale generative dexterous grasping learning dataset built within cluttered synthetic scenes.
创建时间：
2024-12-17
原始信息汇总
DexGraspNet 2.0 数据集概述
数据集简介
DexGraspNet 2.0 是一个用于学习生成性灵巧抓取的大规模合成杂乱场景数据集，相关论文为《DexGraspNet 2.0: Learning Generative Dexterous Grasping in Large-scale Synthetic Cluttered Scenes》，发表于CoRL 2024。
数据集内容
数据集包含以下目录和文件：
meshdata/acronym_test_scenes/scenes/dex_graspness_new/（可通过src/preprocess/dex_graspness.py生成）dex_grasps_new/gripper_graspness/gripper_grasps/models/（链接到meshdata）
数据下载
数据集可从以下地址下载：
- 主下载地址：https://huggingface.co/datasets/lhrlhr/DexGraspNet2.0
- 中国大陆用户镜像地址：https://hf-mirror.com/
环境配置
- 操作系统：Ubuntu 20.04
- CUDA版本：11.7
- 依赖库：libopenblas-dev
预处理
- 提取夹爪抓取数据：
python src/preprocess/extract_gripper_grasp.py --start 0 --end 100 - 计算灵巧手抓取度：
python src/preprocess/dex_graspness.py --start 0 --end 100 - 计算边缘数据：
python src/preprocess/compute_edges.py --dataset graspnet --start 100 --end 190 - 收集网络输入数据：
python src/preprocess/compute_network_input_all.py --dataset graspnet --scene_id_start 100 --scene_id_end 190
训练
- 夹爪训练：
python src/train.py --exp_name exp_gripper_ours --yaml configs/network/train_gripper_ours.yaml - 灵巧手训练：
python src/train.py --exp_name exp_dex_ours --yaml configs/network/train_dex_ours.yaml
评估
- 夹爪评估：
python src/eval/eval_gripper.py --ckpt experiments/gripper_ours/ckpt/ckpt_50000.pth --split test_seen - 灵巧手抓取姿势预测：
python src/eval/predict_dexterous_all_cates.py --ckpt experiments/dex_ours/ckpt/ckpt_50000.pth - 灵巧手抓取姿势评估：
python src/eval/evaluate_dexterous_all_cates.py
可视化
- 可视化场景：
python tests/visualize_scene.py - 可视化灵巧手抓取：
python tests/visualize_dex_grasp.py - 可视化夹爪预测：
python tests/visualize_gripper_pred.py --ckpt_path=experiments/gripper_ours/ckpt/ckpt_50000.pth - 可视化灵巧手预测：
python tests/visualize_dex_pred.py --ckpt_path=experiments/dex_ours/ckpt/ckpt_50000.pth
引用
bibtex @inproceedings{zhang2024dexgraspnet, title={DexGraspNet 2.0: Learning Generative Dexterous Grasping in Large-scale Synthetic Cluttered Scenes}, author={Zhang, Jialiang and Liu, Haoran and Li, Danshi and Yu, XinQiang and Geng, Haoran and Ding, Yufei and Chen, Jiayi and Wang, He}, booktitle={8th Annual Conference on Robot Learning}, year={2024} }
许可证
本数据集采用 CC BY-NC 4.0 许可证。
搜集汇总
数据集介绍
构建方式
DexGraspNet 2.0数据集的构建基于大规模合成杂乱场景中的生成式灵巧抓取学习。该数据集通过模拟环境中的物体抓取任务，利用IsaacGym等工具生成多样化的抓取场景。数据预处理阶段，通过提取和优化抓取数据，生成了包含灵巧手和夹爪的抓取姿态数据集。此外，数据集还包含了用于评估的边缘计算和网络输入数据，确保了数据的全面性和实用性。
使用方法
DexGraspNet 2.0数据集的使用方法包括数据下载、预处理、训练和评估。用户可以从指定链接下载数据集，并按照提供的目录结构进行存储。预处理阶段，用户可以通过运行提供的脚本提取和优化抓取数据。训练阶段，用户可以根据不同的抓取算法选择相应的配置文件进行训练。评估阶段，用户可以通过运行评估脚本对训练结果进行评估，并可视化抓取姿态和抓取点。数据集的使用方法详细且灵活，能够满足不同研究需求。
背景与挑战
背景概述
DexGraspNet 2.0是由北京大学EPIC实验室于2024年发布的一个大规模合成杂乱场景中的灵巧抓取生成学习数据集。该数据集旨在解决机器人灵巧抓取任务中的复杂性问题，特别是在杂乱场景中的物体抓取。通过生成大规模的合成数据，DexGraspNet 2.0为研究人员提供了一个丰富的训练和测试平台，推动了机器人抓取技术的进步。该数据集的核心研究问题是如何在复杂环境中生成高质量的灵巧抓取姿态，其影响力不仅限于机器人学领域，还对计算机视觉和人工智能的交叉研究产生了深远影响。
当前挑战
DexGraspNet 2.0在解决灵巧抓取任务中面临多重挑战。首先，复杂场景中的物体多样性和杂乱性增加了抓取姿态生成的难度，要求模型具备高度的泛化能力。其次，数据集的构建过程中，如何高效地生成和标注大规模合成数据是一个技术难题，尤其是在保证数据质量和多样性的同时，还需考虑计算资源的限制。此外，灵巧抓取任务的仿真和实际应用之间存在差距，如何将仿真环境中的抓取姿态有效迁移到真实机器人操作中，也是一个亟待解决的问题。这些挑战不仅考验了数据集的构建技术，也对后续的算法设计和应用提出了更高的要求。
常用场景
经典使用场景
DexGraspNet 2.0数据集在机器人抓取领域具有广泛的应用，特别是在生成式灵巧抓取任务中。该数据集通过大规模合成杂乱场景，提供了丰富的抓取姿态数据，使得研究人员能够在复杂环境中训练和评估灵巧手的抓取能力。其经典使用场景包括在模拟环境中生成和优化抓取策略，以及在实际机器人系统中进行抓取任务的验证和测试。
解决学术问题
DexGraspNet 2.0数据集解决了机器人抓取领域中的多个关键学术问题。首先，它提供了大规模合成杂乱场景下的抓取数据，填补了真实数据不足的空白。其次，该数据集通过生成式学习方法，解决了灵巧手在复杂环境中的抓取姿态生成问题。此外，它还支持多类别物体的抓取研究，为机器人抓取算法的泛化能力提供了有力支持。
实际应用
在实际应用中，DexGraspNet 2.0数据集被广泛应用于机器人抓取系统的开发和优化。例如，在工业自动化领域，该数据集可用于训练机器人手臂在复杂环境中进行精确抓取操作。在服务机器人领域，它可以帮助机器人更好地理解和执行日常生活中的抓取任务。此外，该数据集还可用于医疗机器人领域，辅助手术机器人进行精细操作。
数据集最近研究
最新研究方向
在机器人操作领域，DexGraspNet 2.0数据集的推出标志着生成式灵巧抓取技术在大规模合成杂乱场景中的进一步突破。该数据集通过模拟复杂环境中的抓取任务，为研究者提供了丰富的训练和测试资源。最新研究聚焦于利用生成模型优化灵巧手的抓取策略，特别是在多物体交互和动态环境中的适应性。结合深度学习与物理仿真技术，DexGraspNet 2.0不仅提升了抓取的成功率，还显著提高了抓取动作的鲁棒性和泛化能力。这一进展为机器人自主操作系统的开发奠定了坚实基础，推动了工业自动化和服务机器人领域的创新应用。
以上内容由遇见数据集搜集并总结生成
