pseudolab/omx_f_PickUpDoll

这是一个机器人数据集，使用LeRobot工具创建，针对omx_f机器人类型。数据集包含10个episodes，总计6006帧，以30fps的帧率录制。它包括视频数据（来自camera1，分辨率为480x640，3通道）和机器人状态观测（如关节位置和夹爪状态），以及对应的动作数据。数据集结构以parquet文件格式存储，并包含时间戳、帧索引、episode索引等元数据。This is a robotics dataset created using the LeRobot tool, targeting the omx_f robot type. It includes 10 episodes with a total of 6006 frames recorded at 30 fps. The dataset contains video data (from camera1 with a resolution of 480x640 and 3 channels) and robot state observations (such as joint positions and gripper states), along with corresponding action data. The dataset structure is stored in parquet format and includes metadata such as timestamps, frame indices, and episode indices.

搜集汇总

数据集介绍

构建方式

本数据集依托于LeRobot框架构建，聚焦于机器人操作领域的精细任务——拾取玩偶（PickUpDoll）。数据采集平台采用omx_f型机器人，通过遥操作或预设策略驱动，以30帧/秒的采样频率记录了10个完整演示回合，总计包含6006帧时序数据。每条数据对应一个独立的操作轨迹，存储为Parquet格式的序列文件，并同步保存了来自顶部摄像头的640×480像素RGB视频流。数据集的元信息（如机器人类型、回合总数、动作空间维度等）被系统性地归纳于meta/info.json文件中，确保了数据结构的标准化与可复现性。

特点

该数据集的核心特色在于其精细化的多模态对齐设计。每个时间步均包含6维关节状态信息（含夹爪关节）、对应的6维动作指令以及高帧率图像观测，为模仿学习与行为克隆算法提供了完整的观察-动作对。数据划分方式简洁明了，全部10个回合均划归训练集，无需额外拆分。特别地，视频数据采用H.264编码，在保证图像质量的同时优化了存储效率。动作与状态空间的高度一致性，使得该数据集特别适用于研究精密抓取与灵巧操作策略。

使用方法

建议通过LeRobot库加载本数据集，利用其内置的数据加载器直接解析Parquet文件与同步视频流。使用时，开发者可依据'observation.images.camera1'字段获取视觉输入，结合'observation.state'与'action'字段构建端到端的策略网络。由于数据集规模较小（10回合），推荐结合数据增强技术（如随机裁剪、时序抖动）进行训练。对于策略评估，可直接采用留一法交叉验证，依次将单个回合作为验证集，利用剩余9回合进行训练，以充分评估算法的泛化性能。

背景与挑战

背景概述

随着机器人学习领域的快速发展，数据驱动的操控策略逐渐成为研究热点，而高质量、标准化的数据集则是推动这一进程的关键基石。omx_f_PickUpDoll数据集由LeRobot团队于近期创建，基于开放的Apache-2.0许可证发布，旨在为机器人抓取与操控任务提供结构化训练样本。该数据集聚焦于“拿起玩偶”这一单一目标，记录了10个完整回合共计6006帧的操控数据，包含来自单目摄像头的高清视觉输入（480×640像素）以及6维关节状态与动作序列（涵盖五个关节与一个夹爪自由度），采样频率为30帧/秒。作为LeRobot生态体系的一部分，该数据集为研究小样本模仿学习、状态-动作空间映射等关键问题提供了可复现的基准，有助于降低机器人数据采集的门槛，推动操控技能从实验室走向实际应用。

当前挑战

该数据集所解决的领域核心挑战在于机器人精细化抓取任务的泛化性与数据效率。首先，仅含10个回合的训练数据对模仿学习算法提出严峻考验——模型需从有限样本中提取有效的操控策略，避免过拟合于特定初始状态与环境条件。其次，构建过程中面临高精度同步的难题：需要确保视觉图像流与关节传感数据在30帧/秒的采集速率下严格对齐，任何时间偏差都会破坏状态-动作偶对的一致性。此外，夹爪关节的力控与位置控制存在耦合，如何从6维动作空间中分离出有效的抓取动作特征亦是数据标注与预处理中的隐性挑战。最后，单视角摄像头视角有限，导致场景遮挡时数据完整性受损，限制了策略对动态干扰的鲁棒性。

常用场景

经典使用场景

在机器人操作与模仿学习领域，omx_f_PickUpDoll数据集为桌面级抓取任务提供了宝贵的基准资源。该数据集由10个完整演示片段、共计6006帧时间序列构成，每一帧均同步记录了来自单目摄像头的高清视觉观测、六维关节空间本体感知状态（包含五个关节与一个夹爪自由度）以及对应的执行动作指令。经典的用法是将序列化数据用于训练端到端的行为克隆模型，例如利用卷积神经网络或视觉变换器编码图像与状态信息，并通过长短时记忆网络或扩散策略解码出连续动作序列，从而让机器人学会从初始状态自主完成玩偶抓取与放置任务。

衍生相关工作

围绕omx_f_PickUpDuck数据集，领域内已涌现出一系列衍生性研究工作。一方面，开发者基于LeRobot框架将该数据集作为标准入门样例，用于复现与对比行为克隆（Behavior Cloning）、扩散策略（Diffusion Policy）和基于能量的模型（EBM）等多种算法的性能基准。另一方面，研究者利用该数据集的结构化特征进一步扩展，如引入域随机化技术生成虚拟数据提升策略泛化性，或结合逆强化学习从示教中恢复奖励函数。此外，该数据集还常作为机器人技能库中的核心组件，与其他公共数据集联合训练多任务基础模型，推动通用操作智能的发展。

数据集最近研究

最新研究方向

该数据集聚焦于机器人操控领域的拾取物体任务，特别是基于OMX_F机械臂和Robotis执行器的精细动作学习。当前研究前沿正朝着模仿学习与强化学习的深度融合方向演进，该数据集所记录的6006帧高质量演示数据为训练灵巧操作策略提供了宝贵素材。在机器人技术领域，拾取任务被视为衡量机器人与环境交互能力的基准，而该数据集的发布恰逢多模态感知与动作空间对齐研究热潮。其提供的6维关节空间状态参数与对应动作数据，为构建端到端的视觉-运动控制模型奠定了坚实基础，对推动服务机器人在非结构化环境中自主执行目标抓取任务具有里程碑意义。