grasp-dataset-curated

该数据集包含用于机器人操作研究的高质量合成抓取数据，重点关注视觉与触觉感知的融合，为每个接触点提供可见性和遮挡分析。数据集包含10个从Objaverse-LVIS精选的物体（类别包括杯子、瓶子、锤子、螺丝刀和扳手），采用front_back抓取策略，相机分辨率为640x480。每个物体文件夹包含：RGB渲染图、包含位置、法线、切线和可见性状态的接触点JSON文件、NumPy格式的接触点数据、抓取策略在物体上的可视化叠加图以及包含物体特定元数据（如表面可见性、边界框、复杂度）的metadata.json文件。每个接触点根据相机遮挡情况分为可见、轮廓和遮挡三类。该数据集适用于从视觉数据预测接触稳定性的模型训练或触觉控制器的模拟到真实迁移。

原始信息汇总

🖐️ 合成抓取数据集（精选版）概述

数据集基本信息

• 数据集名称: Synthetic Grasp Dataset (Objaverse-LVIS Curated)
• 语言: 英文
• 许可证: MIT
• 任务类别: 机器人学、计算机视觉
• 标签: 3D、抓取合成、触觉感知、Objaverse
• 来源: 精选自 Objaverse-LVIS 数据集

数据集统计信息

• 物体数量: 10 个
• 物体类别: 杯子、瓶子、锤子、螺丝刀、扳手
• 抓取策略: front_back（前后抓取）
• 相机分辨率: 640×480

数据格式

每个物体文件夹包含以下文件：

文件名称	说明
rgb.png	单目 RGB 渲染图像
grasp_<strategy>.json	接触点信息（位置、法线、切线和可见性状态）
grasp_<strategy>.npz	接触点的 NumPy 版本文件
grasp_<strategy>_overlay.png	物体上的抓取点可视化叠加图
metadata.json	物体特定元数据（表面可见性、边界框、复杂度）

可见性分类

每个接触点根据相机遮挡情况分为三类：

• VISIBLE（可见）: 点直接被相机观测到
• SILHOUETTE（轮廓）: 点位于视觉轮廓上（对触觉补全至关重要）
• OCCLUDED（遮挡）: 点被物体自身遮挡（背面或自遮挡）

使用方式

该数据集可用于训练从视觉数据预测接触稳定性的模型，或用于触觉控制器的仿真到现实迁移。

下载示例代码

python from huggingface_hub import snapshot_download path = snapshot_download("jack635/grasp-dataset-curated", repo_type="dataset")

数据生成工具

该数据集使用 Grasp Dataset Generator 流水线生成。

搜集汇总

数据集介绍

构建方式

在机器人操作研究中，抓取合成数据集的构建对于提升模型泛化能力至关重要。本数据集精选自Objaverse-LVIS数据库中的10个日常物体，涵盖杯子、瓶子、锤子、螺丝刀和扳手五类典型形态，通过'前-后'抓取策略生成接触点数据。每个样本包含640x480分辨率的单目RGB渲染图、以JSON和NumPy格式存储的接触点信息（含位置、法向量、切向量及可见性状态），以及抓取覆盖可视化图像。此外，metadata.json文件提供了表面可见性、边界框和物体复杂度等元数据，为多模态学习奠定基础。

特点

该数据集的突出特色在于深度融合视觉与触觉感知，对每个接触点进行精细的可见性分类：'可见'点直接暴露于相机视野，'轮廓'点位于视觉临界区域（对触觉信息补全至关重要），而'遮挡'点则被物体自身遮蔽。这种分类机制使得研究者能够量化视觉信息缺失对抓取稳定性的影响。数据集虽规模精简，但通过高保真渲染和结构化标注，为触觉控制器从仿真到现实的迁移学习提供了理想的基准训练资源。

使用方法

本数据集主要服务于视觉驱动的接触稳定性预测模型训练及仿真到现实的触觉控制迁移任务。使用者可通过Hugging Face Hub的snapshot_download函数便捷下载完整资源：首先从huggingface_hub导入snapshot_download，然后指定数据集标识符'jack635/grasp-dataset-curated'和repo_type='dataset'即可自动获取。下载后，可按物体文件夹读取RGB图、解析JSON/NPZ接触点数据，并结合可见性标签进行模型输入设计，建议重点关注轮廓点与遮挡点的多模态特征融合策略。

背景与挑战

背景概述

在机器人抓取操作研究中，视觉与触觉信息的融合是实现精准抓取的关键技术路径。该数据集由研究者jack635于近期创建，源自Objaverse-LVIS精选的10个日常物体（如杯子、瓶子、锤子等），通过前-后抓取策略生成高质量合成抓取数据。核心研究问题聚焦于如何利用单目视觉信息预测接触点的稳定性，并分析可见性状态以辅助触觉控制。该数据集为模拟到现实的触觉控制器迁移提供了基准，推动了视触融合在机器人操作领域的研究进展。

当前挑战

该数据集所解决的领域挑战包括：机器人抓取中物体表面遮挡导致的不确定性，自遮挡和视角边界（剪影）引起的触觉信息缺失，以及单目视觉无法直接获取物体背面结构信息的问题。在构建过程中，面临的挑战涉及生成高精度接触点及法线、切线等物理参数的计算，物体几何复杂度的多样性使得可见性分类（可见、剪影、遮挡）的自动化标注变得困难，同时需确保合成数据对现实场景的通用性。

常用场景

经典使用场景

在机器人操作与抓取合成领域，grasp-dataset-curated 为视觉与触觉融合研究提供了理想的数据基石。该数据集聚焦于十类精选自Objaverse-LVIS的日常物品（如杯子、瓶子、锤子等），并通过前-后抓取策略生成接触点的高质量标注，包括空间位置、法向量及切线方向。其最具代表性的应用在于训练基于单目RGB图像的抓取稳定性预测模型，利用数据集提供的接触点可见性分类（可见、轮廓、遮挡），模型可学习从视觉线索中推理接触点的可靠性，进而为无传感器条件下的机器人自主抓取提供决策支持。

实际应用

在实际工业与服务场景中，该数据集可赋能低成本视觉伺服机械臂的智能化升级。例如，在仓储分拣环节，搭载单目相机的机器人可凭借基于该数据集训练的模型，对瓶状或工具类物品实现大致的稳定抓取姿态估计；当接触点被判断为轮廓或遮挡状态时，系统可主动触发指尖触觉传感器进行局部几何补偿，从而提升抓取成功率。此外，该数据集对3D打印或增材制造中的自动夹取、家庭服务机器人对工具的适应性抓取等场景亦具直接参考价值。

衍生相关工作

围绕该数据集，学术界已衍生出若干方向性成果。研究者利用其可见性标注机制，将接触点分类嵌入到视觉-触觉融合注意力网络中，显著提高了遮挡条件下的抓取鲁棒性。另有工作基于该数据集的接触点几何描述，构建了从仿真到实物的跨域迁移框架，通过域随机化策略缩小了合成数据与真实传感器读数之间的差距。此外，该数据集的‘轮廓’分类启发了部分研究者在接触点规划中引入轮廓感知损失函数，使抓取策略更加关注物体边缘的稳定性边界。