UCBProject/baseline_3_v4_oakink362_thumb_middle

OakInk 362 ep — thumb+middle（baseline_3 v4 DP3训练数据）是一个用于DP3（3D-Diffusion-Policy）训练的机器人抓取数据集，专门针对Franka平行爪设计。数据集包含362个episodes，其中268个是使用中指（PINCH_FINGER=middle，对应MANO J=12）新收集的模拟数据，94个是从先前拇指+食指（J=8）运行中救援的，以填补抓取空白。数据集覆盖了57个可用OakInk对象（共74个），每个原始episode还包含3个yaw增强版本（90、180、270度）。数据收集使用IsaacSim 5.1模拟环境，在RTX 5090硬件上运行，模拟参数包括固定质量0.05 kg和cuRobo回退功能。数据集主要用于机器人操作和抓取任务训练，可与DexYCB数据结合形成总计524个episodes的训练集。OakInk 362 ep — thumb+middle (baseline_3 v4 DP3 training data) is a robotic grasping dataset for DP3 (3D-Diffusion-Policy) training on the Franka parallel-jaw. It consists of 362 episodes: 268 freshly collected with the middle finger (PINCH_FINGER=middle, corresponding to MANO J=12), and 94 rescued from a prior thumb+index (J=8) run to fill grasping gaps. The dataset covers 57 out of 74 usable OakInk objects, with each original episode augmented by 3 yaw rotations (90, 180, 270 degrees). Data collection was performed in IsaacSim 5.1 simulation environment on RTX 5090 hardware, with parameters such as a fixed mass of 0.05 kg and cuRobo fallback enabled. The dataset is intended for robot manipulation and grasping task training and can be combined with DexYCB data to form a total of 524 episodes for training.

搜集汇总

数据集介绍

构建方式

本数据集专为基于3D扩散策略的机械臂抓取任务设计，依托IsaacSim 5.1物理仿真环境，利用Franka平行夹爪在OakInk物体数据集上生成抓取轨迹。构建过程中，采用拇指与中指夹持模式（J=12）作为主要采集策略，相较于拇指与食指模式，其采集效率提升约2倍。共收集268条全新轨迹，并从先前基于拇指与食指模式（J=8）的207条轨迹中筛选出94条补充数据，填补拇指-中指模式无法完成抓取的空白，最终形成362条轨迹的完整集合。每条源轨迹均通过90°、180°、270°偏航角增强，得到原始数据的4倍扩展。值得注意的是，DexYCB数据集中的162条轨迹未包含在本数据集中，需另行合并使用。

使用方法

使用该数据集进行训练时，需首先从HuggingFace下载DexYCB训练数据及本OakInk数据集的HDF5文件。随后，将两个数据集的轨迹文件合并至同一训练目录，形成总计524条轨迹的联合训练集合。训练时，应使用先前运行的配置文件中定义的`task_baseline1_b3_v4_*.yaml`任务配置，并确保物理硬件满足A6000及以上GPU的计算需求。数据合并后，通过统计目录下HDF5文件数量验证完整性，确认总数为524条后方可启动训练流程。

背景与挑战

背景概述

该数据集由UCB Project团队于2026年5月创建，专注于机器人操作中的灵巧抓取任务，特别是针对Franka平行夹爪的3D扩散策略（DP3）训练。核心研究问题在于如何高效收集和利用仿真数据，以提升多指抓取策略在真实世界中的泛化能力。基于OakInk物体数据集，该工作通过拇指与中指捏合动作的生成为主要采集手段，同时引入Yaw旋转增强与旧有拇指与食指数据的救援机制，最终覆盖57个可用物体共362个抓取片段。作为DP3训练数据的重要组成部分，该数据集与DexYCB数据联合使用可构建524个片段的训练集，在机器人抓取领域具有显著的基准价值。

当前挑战

该数据集主要解决机器人灵巧抓取策略训练中数据稀缺与泛化性不足的领域挑战，具体体现为：1）不同捏合手指配置（如拇指+中指与拇指+食指）对抓取成功率产生显著影响，需通过经验选择最优配置以提升采集效率；2）仿真到真实迁移过程中的域差异问题，即使采用cuRobo回退规划与固定质量假设，仍存在抓取策略对目标物体几何结构的依赖。在构建过程中，团队面临两大挑战：一是仅用拇指+中指难以覆盖全部物体，最终需从旧有拇指+食指数据集中救援94个片段以填补空白，这引入了2.8厘米的目标末端执行器位置偏移噪声；二是17个物体的零成功抓取（如接触式工具与刀具）暴露出平行夹爪对特定几何形态的固有局限。

常用场景

经典使用场景

在机器人灵巧操作领域，该数据集专为基于三维扩散策略（3D-Diffusion-Policy, DP3）的抓取技能学习而设计。其核心应用场景聚焦于Franka平行夹爪在仿真环境中的精准抓取任务，通过采集OakInk数据集中57种物体的抓取轨迹，结合多角度偏航增强（0°、90°、180°、270°）和拇指-中指捏合模式，为端到端的行为克隆与策略学习提供了高质量的训练样本。该数据集尤其适用于在存在物理干扰和几何复杂性的情况下，验证DP3策略对三维点云到末端执行器映射的泛化能力。

解决学术问题

该数据集解决了机器人抓取领域中多指捏合操作的零样本泛化与数据效率两大核心难题。通过引入拇指-中指捏合策略替代传统的拇指-食指组合，将采集成功率提升约2倍，并利用救援机制从旧数据集中填补空缺，有效缓解了长尾物体抓取成功率低的问题。研究意义在于：首次在DP3框架下系统性地对比不同捏合手指配置对抓取性能的影响，揭示了策略对末端执行器偏移的鲁棒性，为构建高效的抓取数据集提供了新范式。其影响体现在推动了从单一物体到多类别通用抓取策略的迁移学习研究。

实际应用

在工业场景中，该数据集可直接用于训练机器人手臂在仓储分拣、零件装配等任务中的自主抓取能力，尤其适用于处理形状不规则的工件。在服务机器人领域，可结合视觉感知实现家庭环境中常见物品（如工具、餐具）的稳健拾取。此外，该数据集的仿真-真实迁移潜力使其成为数字孪生与半实物仿真测试的关键组成部分，能够加速机器人操作技能从虚拟环境向实体设备的部署流程，减少对真实物理实验的依赖。

数据集最近研究

最新研究方向

本数据集聚焦于机器人灵巧操作领域的前沿方向——基于3D扩散策略（3D-Diffusion-Policy, DP3）的抓取技能学习。通过与Franka平行夹爪的仿真环境结合，数据集围绕OakInk物体集，系统性地探索了拇指与中指对捏（thumb+middle）这种精细抓取模式在强化学习训练中的效能。引人注目的是，研究通过对比实验发现，以中指作为主驱动手指时，数据采集效率较使用食指提升约2倍，这一发现为优化人形机器人灵巧手的高效数据生成策略提供了关键经验证据。更进一步，数据集创新性地引入了"救援"机制，从先前的拇指与食指动作轨迹中迁移了94条记录以填补中指模式无法解决的抓取空白，这种数据融合方法在引入微小末端执行器位姿偏差（约2.8厘米）的同时，显著提升了物体覆盖率达57/74，验证了DP3策略在点云到末端执行器映射中对噪声的良好容忍度。该工作与近期基于大规模仿真数据驱动机器人学习的热点趋势紧密呼应，通过整合DexYCB与OakInk共524条轨迹，推动了灵巧操作从精确建模向数据泛化范式的演进，对降低真实机器人训练成本、加速通用操作技能的迁移具有重要实践意义。