UCBProject/eval_objects_ge30_sim_bundle

Eval GE30 仿真资产包是一个用于在外部复现Affordance2Grasp评估中Isaac Sim默认桌面场景的数据集。它包含87个物体，这些物体基于robot_gt round ≥ 3且success_count ≥ 30的条件从OakInk系（73个）和YCB/Dex系（14个）中选出，用于仿真环境中的抓取评估。数据集提供物体的USD文件、元数据（包括z_offset_m用于调整放置高度）以及场景布局参考（如地面、桌子、Franka机器人和物体的位置和姿态）。抓取候选位姿尚未包含，需后续生成。该资产包旨在支持仿真实验和评估流程的复现。The Eval GE30 Simulation Asset Bundle is a dataset designed for externally reproducing the default desktop scene in Isaac Sim for Affordance2Grasp evaluation. It includes 87 objects selected based on the criteria of robot_gt round ≥ 3 and success_count ≥ 30, sourced from the OakInk series (73 objects) and YCB/Dex series (14 objects), for grasp evaluation in simulation environments. The dataset provides USD files for the objects, metadata (including z_offset_m for adjusting placement height), and scene layout references (such as positions and poses for the ground, table, Franka robot, and objects). Grasp candidate poses are not yet included and need to be generated later. This asset bundle aims to support the reproduction of simulation experiments and evaluation processes.

搜集汇总

数据集介绍

构建方式

该数据集专为Affordance2Grasp框架在Isaac Sim中的外部评估而构建，旨在提供标准化的桌面仿真场景。其物体清单源自仓库内`evaluation/configs/eval_objects_merged_success_ge30.csv`，筛选条件严格：仅保留`robot_gt`回合数≥3且累计成功抓取次数≥30的物体，最终纳入87个高质量物体，涵盖OakInk系列73个与YCB/Dex系列14个。数据集以`bundle`形式组织，包含Obj USD模型、元数据JSON及场景布局参考脚本，但明确排除了PDM抓取候选位姿（`candidates/`目录留待后续生成）与额外的旋转覆盖文件，确保构建过程聚焦于核心仿真资产的标准化封装。

特点

数据集的核心特质在于其严格的物体会话筛选机制与精确的仿真配置。每个物体通过`z_offset_m`参数实现底面贴合桌面的竖直放置，且USD模型已进行Bake处理，无需额外缩放。场景布局固定：桌面高度为0.80米，物体位于(0, 0.55, 0.80+z_offset_m)，Franka机器人位置和朝向均已设定。所有物体的世界Y轴旋转固定为0度，强调一致性。通过`manifest.csv`和`bundle_summary.json`提供完整的物体ID、路径及偏移量索引，便于复现实验，同时明确标注抓取候选位姿的缺失状态，体现数据集的阶段性设计。

使用方法

使用该数据集时，用户需将整个`eval_objects_ge30_sim_bundle`目录部署至Isaac Sim环境，并参照仓库中的`sim/evaluation/scene_builder.py`构建场景。物体加载依赖`obj_usd/`下的USD文件和对应的`_meta.json`以获取`z_offset_m`值，放置高度严格遵循`TABLE_TOP_Z + z_offset_m`公式。用户可运行`scene_layout_reference.py`打印场景布局数值进行验证。若需重新打包数据集，可通过`python tools/package_eval_ge30_usd_bundle.py`执行，支持`--prune-candidates`选项。抓取评估需等待`candidates/`目录生成后配合`sim/evaluation/curobo_executor.py`完成。

背景与挑战

背景概述

该数据集由Affordance2Grasp研究团队于近期构建，旨在为机器人抓取任务的仿真评估提供标准化资产。核心研究问题聚焦于在Isaac Sim仿真环境中复现桌面场景下的物体抓取性能评估。数据集包含87个经严格筛选的物体，其中73个源自OakInk数据集，14个来自YCB/Dex系列，入选条件基于机器人真实抓取实验的成功次数（≥30次）与实验轮次（≥3轮），体现了对评估样本质量与统计显著性的重视。通过提供统一的USD格式资产、元数据及场景布局参考，该数据集为相关领域的研究可复现性奠定了关键基础，有望推动机器人抓取算法评估的规范化进程。

当前挑战

当前数据集面临的核心挑战在于抓取候选位姿的缺失，该部分尚未写入数据包，导致无法直接进行端到端的抓取评估。领域层面，机器人抓取评估需解决仿真与现实之间的迁移鸿沟，确保仿真评估结果能有效反映真实场景性能；同时，物体多样性（如几何形状、材质、尺寸）为抓取策略的泛化性提出了严峻考验。构建层面，从大规模物体库中筛选出具有高成功率的样本需依赖大量真实机器人实验数据，成本高昂且耗时；此外，数据包的打包与场景配置（如物体竖直放置的z_offset_m参数）需精细校准，以避免因微小偏差导致的仿真误差累积。

常用场景

经典使用场景

在机器人操作与抓取领域，该数据集作为标准化仿真评估基准，广泛应用于验证抓取规划算法的泛化性能。其包含87个经严格筛选的日常物体，源自OakInk与YCB/Dex两大主流数据集，覆盖了丰富的几何形状与材质属性。研究者通过搭建Isaac Sim仿真场景，利用预设的桌面布局、Franka机械臂位姿及物体放置高度参数，对候选抓取姿态进行批量测试，从而量化算法在不同物体上的成功率和鲁棒性。这种高保真度的仿真环境显著降低了真实实验的成本与风险，成为连接算法开发与实物部署的关键桥梁。

实际应用

在实际应用中，该数据集赋能了工业分拣、家庭服务机器人及物流仓储等领域。集成到Isaac Sim流水线后，企业可在部署前对机械臂抓取方案进行系统性压力测试，例如评估多品类SKU的分拣效率或易损物品的夹取安全性。对于电子消费产品，开发者利用该数据集的物体库验证夹爪与吸盘组合策略的适应性；在医疗领域，则用于训练机器人对不规则药瓶或手术器械的稳定抓取。其模块化设计允许快速替换场景元素，大幅缩短了从仿真测试到产线落地的迭代周期。

衍生相关工作

该数据集衍生出多项前沿研究，包括面向密集场景的遮挡抓取规划、基于视觉语言模型的零样本抓取推理以及动态环境下的去中心化抓取协同等。代表性工作如Affordance2Grasp利用其物体库构建了功能区域到抓取姿态的映射网络，显著提升了刀具、器皿等工具类物体的操作拟人度。后续工作进一步探索了多模态融合（触觉+视觉）在数据集中细分物体上的特征学习，推动了灵巧手抓取在窄空间中的成功率。此外，基于该数据集的元学习框架被提出，用于加速新物体的抓取策略迁移，极大拓展了其作为通用基准的生命力。