aHiroakiIshikawa/openarm_mini_dual_camera_blue_sponge_0529_01_right_only

该数据集是一个用于机器人技术任务的数据集，使用LeRobot工具创建。它包含141个episodes，总计85149帧，帧率为30 FPS。数据集针对机器人类型为“bi_openarm_follower”，并包含多个特征，如动作（包括右臂的8个关节位置和右夹爪位置）、观察状态（与动作相同的关节位置）、来自顶部和右腕摄像头的图像（分辨率为480x640，3通道，视频编码为av1），以及时间戳、帧索引、episode索引等元数据。数据以parquet文件格式存储，视频文件以mp4格式存储。数据集的结构详细描述了这些特征的数据类型和形状，适用于机器人控制、视觉感知等研究。

This is a robotics task dataset developed with the LeRobot toolkit. It consists of 141 episodes, totaling 85,149 frames, with a frame rate of 30 FPS. The dataset targets the robot type "bi_openarm_follower", and includes multiple features: actions (comprising 8 joint positions of the right arm and the right gripper position), observations (consistent with the joint positions included in the actions), images captured by the top and right wrist cameras (with a resolution of 480×640, 3 channels, and encoded in AV1 format), as well as metadata such as timestamps, frame index, episode index and others. The dataset stores its core data in Parquet file format, while video files are stored in MP4 format. The structure of the dataset elaborates on the data types and shapes of these features, and is applicable to research in fields such as robot control and visual perception.

搜集汇总

数据集介绍

构建方式

该数据集基于开源机器人框架LeRobot构建，聚焦于单臂操作场景。数据采集平台采用bi_openarm_follower型机器人，通过双摄像头系统（顶部视角与右腕部视角）同步录制视频流，同时记录机器人右臂的8维关节位置与夹爪状态作为动作与观测状态。数据集包含141个演示片段，总计85149帧，以30帧每秒的速率采样。原始数据按照固定大小分块存储于Parquet文件中，视频则以AV1编码压缩为MP4格式，并依据chunk与file索引组织目录结构，便于分布式加载。

特点

本数据集的核心特色在于提供高保真的多模态机器人操作数据。双摄像头配置分别从全局顶部与局部腕部视角捕捉场景，分辨率为480×640像素，为精细操作任务提供丰富的视觉上下文。动作与状态空间均为8维连续值，覆盖完整关节运动与夹持控制。所有数据经过严格时间对齐，并包含时间戳与帧索引，支持时序建模。数据集采用Apache-2.0开源许可，共141个演示片段、训练集全覆盖，易于复现与扩展。

使用方法

数据集通过HuggingFace平台分发，支持LeRobot库直接加载。用户可使用lerobot库的DataPipeline模块，按config名称'default'自动读取分块Parquet文件与对应视频。数据加载后以字典形式提供，包含action、observation.state、observation.images等字段，可直接用于模仿学习或强化学习模型训练。建议将数据按8:2比例划分为训练与验证集，采用滑动窗口采样策略处理时序依赖，并利用内置的帧索引与episode_index进行片段组织。

背景与挑战

背景概述

该数据集由研究者aHiroakiIshikawa创建，依托于LeRobot开源框架，旨在为机器人操控任务提供精细化的运动数据。数据集聚焦于OpenArm Mini机械臂在双摄像头配置下的右侧臂操控行为，记录了141个操控片段，总计85149帧，以30帧/秒的高频采样率捕捉机械臂各关节位置与夹爪状态。其核心研究问题在于如何通过视觉与运动状态的联合表征，提升机器人对柔软物体（如蓝色海绵）的操作精度与鲁棒性。该数据集的出现为低成本、可复现的机器人学习研究提供了基准，尤其在模仿学习与精细化操控领域具有潜在影响力。

当前挑战

该数据集所应对的领域挑战主要包括机器人在非结构化环境中对柔性物体的精细操控问题，例如蓝色海绵的抓取与操作常因物体形变导致传统控制方法失效。构建过程中面临的挑战包括：多模态数据（双目视觉与关节状态）的时间同步与对齐，确保每一帧图像与动作指令精确对应；高频率数据采集下存储与处理效率的平衡，如视频流编码为AV1格式以压缩体积但维持保真度；以及可重复实验环境的搭建，需统一机械臂控制参数与夹具设置以消除系统偏差。

常用场景

经典使用场景

在机器人学习与操控领域，openarm_mini_dual_camera_blue_sponge_0529_01_right_only数据集被设计用于训练和评估双臂机器人执行精细抓取与搬运任务的算法。该数据集聚焦于使用右臂操作一块蓝色海绵，采集了141个演示片段，总计超过8.5万帧图像与运动状态信息。研究者可借助此类数据，训练基于模仿学习的策略，使机械臂能够从视觉观测中习得精准的夹取、移动与释放动作，尤其适用于需要双摄像头（顶部与右腕视角）协同感知的场景。

实际应用

在实际应用中，该数据集可服务于工业自动化与家庭服务机器人领域。例如，训练机器人完成柔性物料的组装、包装或分拣任务，或在家庭环境中协助整理海绵类清洁用品。通过顶部与腕部摄像头的双模态视觉输入，机器人能够适应不同光照与遮挡条件下的操作，降低了部署成本。此外，该数据集也可用于验证遥控操作系统的稳定性，为远程医疗或危险环境作业中的机械臂控制提供训练素材。

衍生相关工作

此数据集衍生了多项基于LeRobot框架的经典研究工作，包括行为克隆与隐式策略优化算法的基准测试。研究人员利用该数据集的标准化格式（Parquet文件存储动作与状态，MP4视频存储视觉流）开发了端到端模仿学习模型，如扩散策略与基于Transformer的动作序列预测器。同时，该数据促进了多视角融合技术与时间序列对齐方法的发展，相关成果在机器人顶会（如CoRL、ICRA）上被广泛引用，成为软体物体操控领域的参照基准。