learner1119/merge_ffw_sh5_rev1_20260504_27dof_pick_up_a_red_cylinder_and_place_it_on_the_basket_processed

该数据集是一个机器人数据集，使用LeRobot创建，专为机器人任务设计。它包含60个episodes，总计13939帧，帧率为10fps。数据集结构包括观察和动作数据：观察部分包括来自cam_head的图像（分辨率为376x672，3通道）和机器人状态（涉及27个关节，包括手臂和手指关节）；动作部分同样涉及27个关节的控制数据。数据以parquet文件格式存储，并附带mp4格式的视频文件。数据集适用于训练和评估机器人控制模型，支持单任务场景，所有数据均用于训练集。This dataset is a robotics dataset created using LeRobot, designed for robotics tasks. It contains 60 episodes with a total of 13939 frames at a frame rate of 10fps. The dataset structure includes observation and action data: observations consist of images from cam_head (resolution 376x672, 3 channels) and robot state (involving 27 joints, including arm and finger joints); actions similarly involve control data for 27 joints. The data is stored in parquet format, accompanied by video files in mp4 format. The dataset is suitable for training and evaluating robot control models, supports single-task scenarios, and all data is allocated to the training set.

搜集汇总

数据集介绍

构建方式

该数据集聚焦于机器人操作领域中一项典型的抓取与放置任务，旨在通过精细化的多自由度控制数据，推动机器人技能学习的研究。其构建依托于LeRobot框架，基于ffw_sh5_rev1型机器人平台，围绕“拾取红色圆柱体并放入篮子”这一单一任务，采集了60个完整 episodes，共计13939帧时序数据。数据采样频率为每秒10帧，训练集与全部 episodes 对应，未额外划分验证集。每个 episode 均以 Parquet 格式存储状态与动作序列，并通过 MP4 文件同步记录机器人头部摄像头的视觉观测，形成了多模态、高保真的演示数据集。

特点

该数据集最鲜明之处在于其精细的动作表征与模态耦合设计。机器人状态与动作空间均包含27个自由度，覆盖7个臂部关节与20个手指关节，完整描述了执行器从宏观位姿调整到微细抓取操作的复杂控制逻辑。视觉观测采用376×672分辨率的高清摄像头画面，保障了场景辨识精度。数据集中索引完备，涵盖时间戳、帧索引与任务标识，便于按时间步或 episode 进行序列建模。所有数据均基于 Apache-2.0 许可证开放，适配 LeRobot 生态，可直接用于模仿学习与基于视觉的运动策略训练。

使用方法

研究者可通过 HuggingFace Datasets 库加载该数据集，并利用 LeRobot 框架中内置的 dataset 模块直接访问 Parquet 与视频文件。数据按 chunk 组织，路径格式为 data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet，便于并行读取。建议将观测状态与动作序列配对使用，以构建从观测到低层控制指令的映射模型。视觉数据可从对应视频路径逐帧提取，并结合时间戳与帧索引实现与状态序列的严格对齐。该数据集特别适用于训练基于示教的机器人操作策略，如行为克隆、扩散策略或基于 Transformer 的决策模型。

背景与挑战

背景概述

在机器人学习领域，数据驱动的行为克隆与模仿学习方法近年来取得了显著进展，然而高质量、精细化的机器人操作数据集依然稀缺。该数据集由Hugging Face LeRobot社区创建，基于FFW_SH5_REV1型机器人平台，于2025年采集完成，专注于‘从篮子中拾取红色圆柱体并放置’这一具体操作任务。数据集包含60个完整演示回合、共计13939帧，通过27自由度关节状态与对应动作数据，为机器人操作技能的端到端学习提供了宝贵资源。其核心研究问题在于如何利用有限但高精度的示范数据，训练机器人完成精确的抓取与放置任务，对推动机器人精细操作与少样本学习研究具有重要参考价值。

当前挑战

该数据集所面对的领域挑战在于，机器人抓取与放置任务涉及复杂的视觉感知、运动规划与力觉反馈，尤其是在处理特定形状（圆柱体）与特定颜色（红色）物体的定位与稳定抓取时，要求模型具备高度的泛化能力与抗干扰性。构建过程中，挑战则体现在多关节（27自由度）的精细控制数据采集难度高，需确保示范动作的准确性与一致性；同时，仅包含单一任务、60个回合的有限样本，使得模型在从示范中学习时面临过拟合风险，且缺乏对未见过物体形态或环境变化的适应能力。

常用场景

经典使用场景

在机器人操作领域，该数据集通过记录'拾取红色圆柱体并放置到篮子中'这一经典抓取与放置任务的完整流程，为模仿学习提供了高质量的多模态训练样本。数据集包含60个演示片段，共计13939帧，每帧记录了27维关节状态（包含7个机械臂关节和20个手指关节）以及对应的动作指令，同时配有头部摄像头采集的672×376像素彩色视频。这种精细化的状态-动作-视觉对齐结构，使其成为训练机械臂进行精密物件操作的理想基准，尤其适用于学习基于视觉的柔顺抓取策略。

解决学术问题

该数据集直面机器人领域精细操作技能迁移与泛化的核心挑战。通过提供固定任务但多实例变体的演示数据，它解决了从示教到自主执行中存在的观测噪声抑制、动作序列规划与状态空间建模难题。其标准化的27自由度动作空间为对比不同模仿学习算法（如行为克隆、逆强化学习）的样本效率与泛化能力提供了控制变量平台。意义在于将抽象的'操作认知'转化为可量化的特征学习问题，推动了从单一技能模仿到多任务策略复用的理论突破。

衍生相关工作

基于该数据集的标准化格式，衍生出一系列代表性研究工作。LeRobot框架内以该数据为基准，评估了扩散策略、ACT（Action Chunking with Transformers）和基于能量函数的策略等端到端学习器的表现。后续工作扩展了数据增强方法，如随机化物体纹理与光照条件下的域随机化训练，以及通过时间序列反事实推理构建对抗样本以提升策略鲁棒性。此外，该数据集的结构化特征定义直接启发了多任务混合数据集的设计规范，促进跨机器人形态的通用操作基座模型研究。