IDEAS-Lab-Northwestern/sim-pnp-multitask-prior-n10-libero

sim-pnp-multitask-prior-n10-libero 是一个包含1,694个episode的LeRobot v2.1版本机器人操作数据集，专注于13种单物体抓放任务。该数据集在OmniGibson/BEHAVIOR-1K模拟环境中自动收集，采用了cuRobo运动规划快捷方式，并基于真实遥操作抓取先验进行种子初始化。数据收集使用Franka Panda机器人（长指型号），包含三个256×256分辨率的摄像头（左侧、右侧和腕部图像），以30 FPS记录。每个episode包含机器人状态（8维：末端执行器位置、轴角旋转和夹爪状态）、动作（7维：末端执行器位置和旋转增量及夹爪控制）以及对应的视频流。数据集旨在用于视觉-语言-动作策略（如π0.5、OpenVLA风格）的LoRA微调，特别关注抓取先验由cuRobo运动规划脚本化而非从少量人类遥操作中学习的情况。它是人类遥操作对应数据集的自动收集版本，适用于方法学对比研究。A 1,694-episode LeRobot v2.1 dataset of 13 single-object pick-and-place tasks in OmniGibson / BEHAVIOR-1K, collected automatically using a cuRobo motion-planning shortcut seeded from a real teleop grasp prior. Same 3-camera LIBERO schema we use for π0.5 sim SFT.

搜集汇总

数据集介绍

构建方式

该数据集采用自动化流程构建，基于SENTINEL-Lite框架，在OmniGibson仿真环境中利用cuRobo运动规划器生成数据。构建过程分为两阶段：阶段A从真实遥操作先验数据集中读取成功抓取示例，由cuRobo规划并执行抓手接近与闭合动作；阶段B则采用闭环OSC末端执行器增量控制器，驱动机械臂将物体放置于绿色目标区域。每个任务与种子组合持续运行直至记录10个成功片段，失败单元被跳过。双GPU并行收集后，数据被合并、重建索引并重新分块，最终生成1,694个片段。

特点

数据集包含13种单物体拾取与放置任务，涉及茶杯、高脚杯、碗等多样日常物品。数据格式遵循LeRobot v2.1标准，提供8维状态信息（末端执行器位置、轴角旋转及夹爪开合）和7维动作指令（位置与旋转增量及夹爪控制）。视觉观测由三台256×256分辨率H.264编码相机捕获，涵盖左、右视角及腕部视角。总帧数超过250万，以30帧每秒的速率记录，为策略模型训练提供了丰富的多模态样本。

使用方法

用户可通过LeRobot库直接加载该数据集，仅需一行代码即可创建数据集对象并访问其样本。每个样本包含状态、动作及对应视觉帧，适用于视觉-语言-动作策略的LoRA微调，如π0.5或OpenVLA模型。数据集特别适合用于对比不同数据收集方法论对策略性能的影响，可与同系列人工遥操作数据集配对进行消融实验。示例代码展示了如何轻松迭代数据帧，支持高效的模型训练与评估流程。

背景与挑战

背景概述

在机器人操作领域，从人类遥操作数据中学习策略虽能实现灵巧操控，却受限于昂贵且低效的数据采集过程。为此，美国西北大学IDEAS Lab于2024年发布了sim-pnp-multitask-prior-n10-libero数据集，旨在通过自动化仿真数据生成，破解机器人精细化抓取与放置任务的规模扩展难题。该数据集包含13种单物体拾取放置任务的1,694个示范片段，采用Franka Panda机器人平台，在OmniGibson/BEHAVIOR-1K高保真物理仿真环境中采集。其核心创新在于将少量人类遥操作的抓取先验作为种子，借助cuRobo运动规划器自动规划执行抓取相位，再通过闭环操作空间控制器完成放置，实现了数据标注效率的指数级提升。作为π0.5视觉-语言-动作策略微调的关键训练资源，该数据集与纯人类遥操作版形成互补对照，为研究不同数据采集方法论对机器人泛化能力的影响提供了标准化基准。

当前挑战

该数据集主要应对两大核心挑战：其一是机器人领域长久以来面临的数据稀缺困境——真实场景下数以万计的高质量操作示范采集成本极高，且不同任务形态间转移能力薄弱，传统依靠人类逐帧遥操作的范式难以支撑大规模策略训练。其二是构建过程中遇到的工程挑战，包括需在仿真环境中保证抓取相位从有限的遥操作先验成功迁移至新种子配置，避免因运动规划器（cuRobo）与物理引擎（OmniGibson）之间的动力学差异导致失败；需设计多GPU并行采集策略以在合理时间内（单卡约18.5小时）完成1,694个示范片段的生成，同时处理好跨分片任务索引合并与数据一致性校验。此外，不同物体几何多样性（从高脚杯到酱汁船）要求规划器具备鲁棒性，而持续失败的（任务，种子）组合需被智能跳过，这对自动化数据管线的容错机制提出了高要求。

常用场景

经典使用场景

该数据集名为sim-pnp-multitask-prior-n10-libero，是面向机器人操控领域的仿真数据集，专为单物体拾取与放置（pick-and-place）任务设计。在机器人学习研究中，此类任务被视为验证视觉-语言-动作策略泛化能力的经典基准。数据集包含1,694个高质量轨迹片段，涵盖13种不同物体（如茶杯、高脚杯、碗等）从桌面中心移动至绿色目标区域的操控过程，采用Franka Panda机器人平台，配备三视角摄像头（左、右及腕部）同步采集，提供完整的8维状态信息与7维动作指令。其核心使用价值在于为模仿学习与强化学习算法提供大规模的、跨物体类别的训练数据，尤其适合π0.5和OpenVLA等视觉-语言-动作大模型的LoRA微调，推动机器人从仿真到现实的知识迁移。

解决学术问题

该数据集旨在解决机器人操控研究中数据采集成本高昂且泛化性不足的瓶颈问题。传统上，机器人拾放任务依赖人工遥操作收集演示数据，效率低下且难以覆盖多样化的物体与场景。本数据集通过引入cuRobo运动规划先验，构建了自动化数据生成流水线，在不到40个GPU小时内产出近1700个有效轨迹，显著降低了数据获取门槛。同时，其任务设计囊括了13种形状、材质与功能各异的日常物体，为评估策略在跨物体类别上的零样本泛化能力提供了标准化测试平台。该数据集的发布推动了机器人学习从单一任务范式向多任务通用策略的演进，直接回应了领域内长期存在的仿真与真实环境之间的域差距挑战。

衍生相关工作

该数据集衍生了一系列具有里程碑意义的相关工作。其姊妹数据集sentinel-pnp-multitask（人工遥操作版）与本数据集构成了一对天然的对照组，被广泛用于消融研究，以量化自动数据生成与人工演示之间的性能鸿沟。后续研究者基于此数据集推出了sim-stack-flat-30-libero与sim-stack-same-30-libero，将单物体拾放拓展至叠放（stacking）任务，进一步丰富了多步操控的仿真基准。此外，数据集所采用的phase-a-grasp-from-dataset闭环流水线，启发了SENTINEL-Lite框架的后续迭代，推动了结合运动规划与学习基元的混合策略范式。在学术评测中，该数据集也常被用作π0.5系列模型在仿真环境中的标准测试集，促进了机器人基础模型的可复现性研究。