SunkissTT/omx_pnp_red_cube

该数据集是一个机器人数据集，使用LeRobot工具创建。数据集针对omx_follower机器人类型，包含100个episodes和30000帧数据，帧率为30fps。数据特征包括动作（6个浮点数，表示肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、状态观测（与动作相同的6个浮点数）、两个摄像头图像（camera1和camera2，每个为480x640x3的视频，编码为av1，无音频）以及时间戳、帧索引、episode索引等元数据。数据集总大小为100MB（数据文件）和200MB（视频文件），分割为训练集（0:100）。数据以parquet格式存储，视频以mp4格式存储。

This dataset is a robotics dataset created using the LeRobot tool. It is designed for the omx_follower robot type, containing 100 episodes and 30,000 frames with a frame rate of 30fps. The features include actions (6 float values representing shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), state observations (6 float values identical to actions), two camera images (camera1 and camera2, each as 480x640x3 videos encoded in av1 without audio), and metadata such as timestamp, frame index, episode index, etc. The total dataset size is 100MB for data files and 200MB for video files, split into a training set (0:100). Data is stored in parquet format, and videos are in mp4 format.

搜集汇总

数据集介绍

构建方式

omx_pnp_red_cube数据集旨在服务于机器人模仿学习领域，由LeRobot框架精心构建而成。该数据集通过操控omx_follower型机器人，执行拾取红色立方体的单一重复任务，采集了100个完整的操作回合，累积30000帧时序数据。数据以Parquet格式存储运动状态与动作指令，并辅以两个视角的AV1编码视频流，分别从480×640像素的视角记录机器人执行过程，最终形成包含训练集（全部100回合）的无划分结构。

使用方法

使用该数据集时，推荐通过LeRobot库直接加载Parquet视频文件，其API支持自动分块读取与特征解耦。研究者可基于'action'与'observation.state'字段构建策略网络，利用双摄像头观测进行视觉-运动联合学习。训练过程中，100个回合的数据可直接按80/20比例拆分验证，或采用留一法评估泛化性能。视频数据与状态量的异步对齐特性需通过帧索引字段校准，建议在模仿学习框架中引入时间一致性损失以提升动作复现精度。

背景与挑战

背景概述

omx_pnp_red_cube数据集由研究人员基于LeRobot框架创建，专注于机器人操控领域的拾取与放置任务。该数据集于近期发布，旨在为模仿学习提供高质量的演示数据，核心研究问题是如何通过少量示例使机器人学会精确抓取并放置特定目标物体（如红色立方体）。数据集包含100个完整操控回合、总计30000帧视频与状态信息，由OMX跟随机器人以30帧每秒的频率采集，记录六自由度关节动作与双摄像头视觉观测。这一数据集填补了开源社区中针对单一精细操控任务的标准化数据空白，推动了机器人学习领域从仿真环境向真实世界迁移的研究进程。

当前挑战

该数据集所解决的领域问题在于，真实世界中的机器人操控面临动作精度要求高、环境变化敏感等挑战，传统强化学习方法难以在有限样本下泛化。omx_pnp_red_cube通过提供高一致性、多模态（关节状态与视觉）的演示数据，为模仿学习算法提供了基准，但构建过程中仍面临挑战：首先，数据采集需保证演示动作的精确性与可重复性，任何示教偏差会直接影响模型性能；其次，单任务（仅抓取红色立方体）的设计限制了数据集的泛化能力，模型在目标颜色、形状或位置变化时可能失效；此外，双摄像头视角下的光照变化与遮挡问题增加了数据预处理与特征对齐的难度。

常用场景

经典使用场景

在机器人操纵与模仿学习领域，omx_pnp_red_cube数据集为研究基于视觉的机械臂精准抓取与放置任务提供了核心基准。该数据集包含100个演示回合、30000帧时序数据，通过双摄像头（480×640分辨率）与六自由度关节状态记录，完整捕捉了从接近、抓取到放置红色立方体的全流程动作。研究者可借助此数据集训练策略网络，使机器人学会从高维视觉观测中提取关键空间特征，并映射为连续的关节控制指令，从而复现复杂的拾放操作。其标准化的数据格式与LeRobot工具链的无缝集成，大幅降低了机器人学习研究的复现门槛。

解决学术问题

该数据集解决了机器人学习领域中数据稀缺性与策略泛化性之间的核心矛盾。通过提供高保真度的专家演示轨迹，omx_pnp_red_cube为行为克隆、逆强化学习及离线强化学习等范式提供了可靠的训练基础。尤其针对小样本学习场景，其结构化的状态-动作对（涵盖6维关节空间）使得算法在缺乏大量交互数据时仍能习得有效的操纵策略。此外，数据集对抓取姿态与力反馈隐式信息的编码，推动了从感知到控制端到端模型的研究，揭示了低自由度机械臂在结构化环境中执行精确任务时的运动学规律。

实际应用

在工业自动化与物流分拣领域，omx_pnp_red_cube数据集训练的模型可直接部署于协作机器人，实现高速、稳定的零部件上下料与简单装配作业。例如，机器人系统通过视觉感知定位目标物后，无需人工编程即可自主完成抓取与放置流程，显著提升了产线柔性。在仓储场景中，该技术能适应不同尺寸与材质的包裹分拣，通过模仿学习减少传统示教器编程的耗时。同时，家庭服务机器人亦可借鉴此数据集中的抓取策略逻辑，完成诸如整理桌面或操作厨房用品等日常任务，推动非结构化环境中智能体实用性的跃升。

数据集最近研究

最新研究方向

在机器人操作与模仿学习的前沿领域，omx_pnp_red_cube数据集聚焦于基于视觉的机械臂精准抓取与放置任务，尤其针对红色立方体这一特定目标物。该数据集通过OMX跟随者机器人采集了100个演示回合、总计3万帧的高保真轨迹数据，包含六自由度关节动作与状态，以及双视角高清视频（640×480分辨率，30帧/秒），为端到端的策略学习提供了丰富的时间序列样本。当前研究方向紧密关联具身智能的热点，即借助LeRobot框架构建可复现的机器人行为克隆基准，以推动少样本学习与泛化能力的发展。该数据集的公开不仅降低了机器人数据采集的门槛，更为多模态融合与闭环控制算法的优化提供了标准化测试平台，对加速服务型机器人在非结构化环境中的场景适应与任务迁移具有深远意义。