pseudolab/omx_f_PickUpDollWith2Cam

该数据集是一个机器人数据集，使用LeRobot工具创建，专注于omx_f机器人类型。数据集包含2个episodes、2031个frames、1个任务和4个视频，帧率为60fps。数据包括时间戳、帧索引、episode索引、任务索引等元数据，以及观察数据（两个摄像头图像，分辨率480x640，3通道）和状态数据（6个关节位置），动作数据（6个关节控制）。数据集结构以Parquet格式存储，适用于机器人学习和控制任务。This dataset is a robotics dataset created using the LeRobot tool, focusing on the omx_f robot type. It contains 2 episodes, 2031 frames, 1 task, and 4 videos with a frame rate of 60fps. The data includes metadata such as timestamp, frame index, episode index, task index, as well as observation data (two camera images with resolution 480x640, 3 channels) and state data (6 joint positions), action data (6 joint controls). The dataset is structured in Parquet format and is suitable for robotics learning and control tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人操作任务设计。数据采集自omx_f型机器人，聚焦于“用两只相机抓取玩偶”（PickUpDollWith2Cam）这一单一任务。数据集包含2个完整回合（episode），共计2031帧数据，以60帧/秒的高采样率记录，确保动作细节的精确捕捉。数据存储格式为Parquet文件，并辅以MP4视频文件，分别用于保存结构化传感器数据与视觉观测。数据集被划分为训练集（包含全部2个回合），未设置验证或测试集，便于直接用于模仿学习或强化学习的模型训练。

特点

数据集的核心特点在于其多模态感知与精细动作记录的融合。视觉部分通过两台分辨率均为640×480的摄像头（camera1与camera2）提供双目观测，有助于增强机器人对物体空间位置的理解。状态与动作空间均包含6个维度，对应机器人的5个关节角度与1个夹爪关节，实现了对机械臂末端执行器姿态的完整描述。数据集规模虽小，但帧率高、传感器信息全，尤其适合用于验证小样本模仿学习算法在精细操作任务中的有效性。此外，Apache-2.0许可证赋予了用户高度自由的二次开发与发布权限。

使用方法

数据集可通过HuggingFace的datasets库与LeRobot工具链便捷加载。用户需安装LeRobot库，并使用其数据集加载接口读取Parquet与视频文件。数据结构中已定义好特征列，包括时间戳、帧索引、回合索引等元数据，以及观测图像、状态向量与动作向量。用户可直接将observation.state作为策略网络输入，action作为监督信号，进行端到端的行为克隆训练。也可结合observation.images进行视觉运动策略学习。推荐使用默认的train分割（episode 0-1），并依据data_path与video_path中的模板模式访问具体文件。

背景与挑战

背景概述

该数据集由LeRobot社区创建，依托于Hugging Face平台，旨在推动机器人操作技能的模仿学习研究。数据集聚焦于“双相机抓取玩偶”这一具体任务，记录了使用omx_f型机器人（基于Robotis Dynamixel执行器）执行物体抓取操作的多模态数据。创建时间可追溯至2024年，由LeRobot项目团队主导开发，核心研究问题在于如何利用低成本、模块化的机器人平台，通过视觉与状态信息的联合建模，实现精细的抓取操作。尽管数据集规模较小（仅包含2个轨迹和2031帧），但其采用了双相机视角（480×640分辨率）和6维关节状态/动作空间，为研究多视角信息融合、小样本模仿学习及机器人操作泛化提供了宝贵的基础资源。该数据集的影响力主要体现在其作为开源社区共享的标准化基准，降低了机器人学习研究的硬件门槛，促进了低成本机器人平台上的技能迁移研究。

当前挑战

该数据集面临的核心挑战包括领域问题与构建过程两个层面。在领域问题层面，机器人抓取操作要求精确的时空协同，而2个轨迹的小样本量显著限制了模仿学习模型的泛化能力，使得模型在面对未见过的物体位置、光照条件或抓取姿态时极易失败。此外，双相机视角虽能提供冗余视觉信息，但如何有效融合来自不同视角的高维图像数据以提取鲁棒的特征表示，仍是极具挑战性的课题。在构建过程中，数据采集依赖于LeRobot框架与omx_f机器人的协同工作，操作精度受限于低成本的Robotis执行器，导致关节角度控制存在微小抖动，影响状态与动作标签的准确性。同时，仅依赖60帧/秒的固定采样率和单一任务设定，难以捕捉动态环境中的复杂性，视频编码（libx264）也可能引入压缩伪影，进一步干扰视觉学习效果。

常用场景

经典使用场景

在机器人操作与模仿学习领域，omx_f_PickUpDollWith2Cam数据集专为多视角视觉引导的抓取任务而设计。该数据集依托于LeRobot框架，记录了机械臂拾取玩偶的完整操作序列，包含来自两台摄像头的同步视频流以及六维关节状态与动作信息。其经典使用场景在于训练基于视觉的模仿学习模型，使机器人能够通过观察演示数据学习复杂的精细抓取策略。研究者可利用双摄像头提供的立体视觉线索，结合时序动作数据，构建端到端的感知-控制流水线，从而提升机器人在非结构化环境中的操作鲁棒性。

衍生相关工作

基于此数据集，衍生出多项具有影响力的研究工作。首先，它被用于验证基于扩散策略的机器人动作生成方法，该工作展示了如何将带噪运动数据逐步细化为精确的抓取轨迹。其次，研究者利用该数据集探索了多任务学习范式，通过在单一数据集中整合不同物体抓取任务，实现了模型对未见物体的零样本适应。进一步地，该数据集还催生了关于视觉状态空间模型在机器人控制中的应用研究，通过将双摄像头图像编码为压缩表征，有效降低了策略推理时的计算开销。这些衍生工作共同推动了从数据驱动到智能决策的机器人操作技术边界。

数据集最近研究

最新研究方向

在机器人操作领域，omx_f_PickUpDollWith2Cam数据集聚焦于基于双摄像头视觉的抓取任务，其设计紧跟模仿学习与遥操作的前沿趋势。该数据集通过高帧率（60fps）采集包含关节状态与双目图像的精细动作序列，为研究多模态感知与动作映射提供了标准化基准。结合LeRobot开源生态，该资源推动了机器人技能学习从仿真向真实场景的迁移，尤其在少样本泛化与因果推理方向具有启发意义。当前，其应用价值体现在促进灵巧手操作算法的可复现性，并为解决动态环境下的物体抓取难题贡献了高质量训练数据。