WarehousePick-v0-DigitalTwin

该数据集是一个基于 LeRobot 框架创建的机器人操作数据集，使用 so101_follower 型机器人采集。数据集包含 42 个演示片段（episodes），共 27528 帧（约 30fps），对应单个任务。每个片段包含以下特征：6 维动作指令（肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）和对应的 6 维机器人关节状态；同时提供三个摄像头视角的 RGB 视频观测：innomaker（720×1280）、intel_rgb（424×240）和 front（720×1280），均为 AV1 编码、30fps、无音频。数据以 parquet 和 mp4 文件组织，训练集包含全部 42 个片段。该数据集适用于机器人模仿学习、行为克隆、视觉运动控制等任务。This dataset is a robot manipulation dataset created based on the LeRobot framework, collected using the so101_follower robot. It contains 42 demonstration episodes with a total of 27,528 frames (approximately 30fps) for a single task. Each episode includes the following features: 6-dimensional action commands (shoulder rotation, shoulder lift, elbow bend, wrist bend, wrist rotation, gripper position) and corresponding 6-dimensional robot joint states; also provides RGB video observations from three camera perspectives: innomaker (720×1280), intel_rgb (424×240), and front (720×1280), all encoded in AV1 at 30fps without audio. Data is organized in parquet and mp4 files, with the training set containing all 42 episodes. This dataset is suitable for robot imitation learning, behavioral cloning, visual motor control, and other tasks.

原始信息汇总

数据集概述：WarehousePick-v0-DigitalTwin

基本信息

• 数据集名称：WarehousePick-v0-DigitalTwin（仓库拣选任务-数字孪生版）
• 许可证：Apache-2.0
• 任务类别：机器人技术（Robotics）
• 标签：LeRobot
• 创建框架：使用LeRobot创建

数据规模

• 总片段数（Episodes）：42
• 总帧数：27,528
• 总任务数：1
• 数据集文件大小：约100 MB（Parquet格式）
• 视频文件大小：约200 MB
• 采样率（FPS）：30
• 分块大小（Chunk Size）：1,000
• 数据分割：训练集包含全部42个片段（train: 0:42）

机器人类型

• 机器人型号：so101_follower

数据特征

动作与状态信息（Action & Observation State）

均包含6维浮点型数据，分别为：

• shoulder_pan.pos（肩部旋转）
• shoulder_lift.pos（肩部升降）
• elbow_flex.pos（肘部弯曲）
• wrist_flex.pos（腕部弯曲）
• wrist_roll.pos（腕部旋转）
• gripper.pos（夹爪位置）

视觉观测（图像/视频）

包含三个摄像头视角，均为AV1编码、30 FPS、无音频：

视角名称	分辨率 (H×W×C)	说明
innomaker	720×1280×3	高分辨率主摄像头
intel_rgb	424×240×3	英特尔RGB摄像头
front	720×1280×3	前置摄像头

其他元数据字段

• timestamp：时间戳（float32，1维）
• frame_index：帧索引（int64）
• episode_index：片段索引（int64）
• index：全局索引（int64）
• task_index：任务索引（int64）

文件结构

• 数据文件路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 配置：默认配置，数据文件位于 data/*/*.parquet

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，采用so101_follower机器人平台在数字孪生环境中执行仓储拣选任务，共采集42个回合、27528帧数据，涵盖单一任务场景。数据以30帧每秒的频率记录，包含机器人本体状态、动作指令以及来自三个不同视角的视觉观测，所有数据经标准化处理后按Parquet格式存储于分块文件中，视频流则编码为AV1格式独立保存，形成结构化的多模态训练资源。

特点

数据集的核心特征在于其多视角视觉-动作对的同步采集机制，融合了前置广角、腕部近景及Intel RGB三种影像模态，分辨率分别为720×1280与424×240，为策略学习提供了丰富的空间感知信息。机器人状态与动作空间均为六维连续控制量，涵盖肩部旋转、肘部弯曲、腕部姿态及夹爪开合，配合时间戳与帧索引，支持精细的时序建模与模仿学习研究。

使用方法

使用该数据集时，研究者可借助LeRobot工具链直接加载Parquet数据文件与对应视频流，通过meta/info.json中定义的路径模板定位各模态资源。数据适用于训练视觉-动作策略网络，如行为克隆或扩散策略，亦可作为数字孪生环境中机器人操作仿真的基准测试集。加载后需对齐时间步，将观测图像与状态向量拼接作为输入，动作向量作为监督信号，利用提供的训练划分进行模型优化与评估。

背景与挑战

背景概述

在机器人学习与具身智能研究中，仓库拣选任务长期被视为检验感知、规划与执行一体化能力的试金石。WarehousePick-v0-DigitalTwin数据集由LeRobot框架构建，采用so101_follower机器人，于数字孪生环境中采集42个回合、27528帧、30fps的多视角操作数据，涵盖机械臂六自由度关节位置与三段视频流。该数据集聚焦真实仓库场景的抓取与放置技能迁移，为模仿学习与视觉-语言-动作模型提供细粒度监督，其数字孪生构建范式对缓解真实数据稀缺、加速策略迭代具有潜在影响力。

当前挑战

该数据集所应对的领域问题在于仓库拣选任务的鲁棒视觉运动控制，其难度源自物体位姿多变、遮挡频繁与接触动力学复杂，要求策略在非结构化环境中泛化。构建过程中的挑战则体现为数字孪生与现实之间的域差距，需确保仿真渲染、传感器噪声与关节动态具有足够保真度；同时，42个回合的有限规模可能制约高容量模型的训练，多视角同步、时序对齐与动作标注的精确性亦对数据采集与后处理提出严苛要求。

常用场景

经典使用场景

在机器人学习与具身智能领域，基于视觉的抓取与放置任务长期以来作为检验算法感知-决策-控制闭环能力的试金石。WarehousePick-v0-DigitalTwin数据集依托LeRobot框架构建，以SO-101机械臂为执行载体，在数字孪生环境中采集了42条专家演示轨迹，涵盖27528帧30fps的同步多视角视觉观测、本体状态与六维关节动作。其最经典的使用场景在于模仿学习与视觉-语言-动作模型的离线训练，研究者可借由innomaker、intel_rgb与front三路异构相机输入，驱动策略网络习得从杂乱货架中识别并抓取目标物体的端到端技能。

解决学术问题

该数据集直击机器人操作研究中真实世界数据采集成本高昂、硬件磨损不可逆的核心痛点。通过数字孪生管线生成高保真演示，它有效缓解了罕见抓取构型样本稀缺与视觉域偏移问题，为模仿学习算法提供可复现的受控基准。同时，多相机异构分辨率设计促使模型学习跨视角特征融合与空间对齐，对研究视觉表征迁移、动作分块及长时程任务规划具有重要价值，推动了数据驱动机器人操作从仿真到现实的渐进式迁移。

衍生相关工作

依托LeRobot开源生态，WarehousePick-v0-DigitalTwin衍生出一系列围绕模仿学习与视觉-语言-动作模型展开的经典工作，包括基于扩散策略的动作生成方法、ACT类Transformer架构的改进以及多视角融合编码器的对比研究。这些工作普遍将该数据集作为标准评测床，用以验证策略在有限演示下的泛化能力与鲁棒性，并进一步催生了面向数字孪生数据增强、域随机化与Sim-to-Real迁移的后续探索，形成了从数据采集到算法迭代的良性循环。