aHiroakiIshikawa/openarm_mini_dual_camera_blue_sponge_0529_01_filtered

这是一个经过过滤的机器人操作数据集，名为openarm_mini_dual_camera_blue_sponge_0529_01_filtered，由LeRobot创建。该数据集是从原始数据集aHiroakiIshikawa/openarm_mini_dual_camera_blue_sponge_0529_01中删除原始episode索引0后生成的过滤版本。数据集针对双臂机器人（类型：bi_openarm_follower）设计，包含140个episodes，总计84260帧数据，帧率为30 FPS。数据特征包括：动作（16维浮点数组，表示左右机械臂各7个关节和1个夹爪的位置）、观测状态（16维浮点数组，表示关节位置）、两个摄像头图像观测（顶部摄像头和右腕摄像头，均为480x640分辨率、3通道的AV1编码视频），以及时间戳、帧索引、episode索引等元数据。数据以Parquet文件格式存储，适用于机器人学习和控制任务研究。

This filtered version was created from `aHiroakiIshikawa/openarm_mini_dual_camera_blue_sponge_0529_01` by deleting the original episode index `0`. It is a robotics dataset for a dual-arm robot (type: bi_openarm_follower) with 140 episodes, 84260 frames, and 30 FPS. Features include action (16-dimensional float32 for joint positions of both arms), observation.state (16-dimensional float32 for joint positions), observation.images.top and observation.images.right_wrist (video data at 480x640x3 resolution, AV1 encoded), along with timestamps, frame indices, and episode indices. Data is stored in Parquet format, suitable for robot learning and control tasks.

搜集汇总

数据集介绍

构建方式

本数据集基于LeRobot框架构建，源自开源双臂机器人平台bi_openarm_follower的真实操作数据。原始数据经采集后，通过删除首个episode索引（索引0）进行过滤优化，最终形成包含140个episode、共计84260帧的高质量子集。数据以30帧/秒的速率记录，每帧包含16维的关节位置与夹爪状态（左右臂各含7个关节及1个夹爪），以及双摄像头（顶部视角与右腕视角）的640×480像素视频流，采用AV1编码存储为MP4文件。图像与状态数据通过Parquet格式分块存储，共计100MB数据文件与200MB视频文件，训练/测试按0:140比例完整划分。

特点

该数据集聚焦于单任务场景下的双臂协同操控，通过双摄像头（顶部与腕部）提供多视角视觉信息，结合16维精细动作与状态空间（包含左右各7自由度关节位置及夹爪开度），为机器人模仿学习提供丰富的观测维度。视觉数据采用高压缩比的AV1编码，在保证画质的同时节省存储；时序数据以30Hz高频采样，确保动作连续性。数据集经过明确的过滤校正（删除异常episode），总帧数达84260帧，兼具规模与纯净度，尤其适用于双臂抓取、操作等需要对称协调的细粒度机器人任务研究。

使用方法

数据集兼容LeRobot生态，可直接通过其可视化工具（Hugging Face Spaces）预览episode。用户可使用`datasets`库加载Parquet格式的状态与动作数据，并结合内置的episode_index、frame_index等元数据按需抽取时间序列。视频数据需通过OpenCV或PyAV解码AV1编码的MP4文件，并与对应的textual特征对齐。由于数据已按完整训练集划分（含140个episode），建议直接用于端到端模仿学习或强化学习的策略训练，多模态输入（图像+状态）可设计为联合编码器架构，适用于双臂机器人行为克隆等下游任务。

背景与挑战

背景概述

在机器人学习领域，模仿学习与从人类演示中习得操作技能是近年来备受关注的研究方向。openarm_mini_dual_camera_blue_sponge_0529_01_filtered数据集由研究者aHiroakiIshikawa于近期创建，并依托Hugging Face的LeRobot框架发布。该数据集聚焦于双臂机器人操作任务，记录了一台‘bi_openarm_follower’型号机器人操作蓝色海绵的140个演示片段，共计84260帧，帧率为30 FPS，同时保留了顶置与右腕双摄像头的视觉观测数据以及16维关节动作与状态信息。其核心研究问题在于探索如何利用高精度、多模态的机器人演示数据推动双臂协同操作策略的泛化与可控性，在机器人技能迁移、策略学习等子领域中具有潜在影响力。

当前挑战

该数据集所解决的领域挑战聚焦于双臂机器人在非结构化环境中的操作学习。具体而言，机器人需从有限演示中习得精细的夹取、移动与释放动作，并应对物体（如蓝色海绵）的柔软性与位置变化，这对动作策略的鲁棒性和多模态融合能力提出了高要求。在构建过程中，挑战包括：数据采集时确保双摄像头视角的时空对齐与同步，解决图像与关节状态序列之间的标定误差；主动剔除因传感器抖动或遮挡导致的异常轨迹（例如移除原始第0个片段）；还需权衡数据量（140集、84260帧）与模型过拟合风险，同时保证14种关节动作的连续性与一致性，为后续策略学习提供干净且可靠的训练素材。

常用场景

经典使用场景

在机器人学与模仿学习的前沿领域，OpenArm Mini 双臂机械臂凭借其灵巧的操作能力备受瞩目。该数据集聚焦于蓝色海绵物体的抓取与搬运任务，通过双摄像头配置（顶部视角与右腕部视角）同步采集高分辨率视觉信息，并结合16维关节与夹爪状态数据，构建了140个演示片段、超过8.4万帧的精细运动记录。其经典使用场景在于训练基于视觉的运动策略，例如利用行为克隆或逆强化学习方法，使机器人能从观测图像与状态中直接学习动作映射，实现对软体物体的精准操控。数据采集频率高达30帧/秒，保证了运动轨迹的连续性与动态细节的完整性。

实际应用

在实际应用中，该数据集所支撑的技术可被部署于智能制造、护理服务与家庭辅助机器人等场景。例如，在精密装配线上，机械臂可通过学习此类演示数据来完成柔性电子元件的无损伤拾放；在养老场景中，机器人能够依据视觉与状态反馈，安全地递送水杯或毛巾等变形物品。双摄像头配置尤其增强了系统在环境变化下的适应性，使得机器人能够在光照条件变化或背景杂乱时仍维持稳定的抓取性能，这为从实验室研究向工业级应用的跨越提供了可复现的数据基础。

衍生相关工作

基于此类精细操控数据集，学术界已衍生出多项标志性工作。例如，扩散策略（Diffusion Policy）利用此类多帧演示数据生成平滑的动作序列，显著提升了长时域任务的成功率；同时，3D视觉与触觉传感器的联合校准方法也得益于此类双摄像头数据集的基准测试。此外，基于Transformer架构的决策预训练模型（如MT-ACT）在此类数据上进行微调后，展示了跨物体形状的零样本迁移能力。这些工作共同勾勒出一条从数据采集到算法验证、再到跨任务泛化的清晰技术路线，持续推动着机器人学习社区的进步。