遇见数据集

junpark-ai/buckle2jh

收藏
Hugging Face2026-05-25 更新2026-05-31 收录
官方服务:

资源简介:

--- license: apache-2.0 task_categories: - robotics tags: - robotis - LeRobot - ffw_bg2_rev4_arms_only configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [Physical AI Tools](https://github.com/ROBOTIS-GIT/physical_ai_tools) and [LeRobot](https://github.com/huggingface/lerobot). ## Dataset Description - **Homepage:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v2.1", "robot_type": "ffw_bg2_rev4_arms_only", "total_episodes": 51, "total_frames": 8944, "total_tasks": 1, "total_videos": 153, "total_chunks": 1, "chunks_size": 1000, "fps": 30, "splits": { "train": "0:51" }, "data_path": "data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet", "video_path": "videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4", "features": { "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "observation.images.cam_head": { "dtype": "video", "names": [ "height", "width", "channels" ], "shape": [ 376, 672, 3 ], "info": { "video.height": 376, "video.width": 672, "video.channels": 3, "video.codec": "libx264", "video.pix_fmt": "yuv420p" } }, "observation.images.cam_wrist_left": { "dtype": "video", "names": [ "height", "width", "channels" ], "shape": [ 240, 424, 3 ], "info": { "video.height": 240, "video.width": 424, "video.channels": 3, "video.codec": "libx264", "video.pix_fmt": "yuv420p" } }, "observation.images.cam_wrist_right": { "dtype": "video", "names": [ "height", "width", "channels" ], "shape": [ 240, 424, 3 ], "info": { "video.height": 240, "video.width": 424, "video.channels": 3, "video.codec": "libx264", "video.pix_fmt": "yuv420p" } }, "observation.state": { "dtype": "float32", "names": [ "arm_l_joint1", "arm_l_joint2", "arm_l_joint3", "arm_l_joint4", "arm_l_joint5", "arm_l_joint6", "arm_l_joint7", "gripper_l_joint1", "arm_r_joint1", "arm_r_joint2", "arm_r_joint3", "arm_r_joint4", "arm_r_joint5", "arm_r_joint6", "arm_r_joint7", "gripper_r_joint1" ], "shape": [ 16 ] }, "action": { "dtype": "float32", "names": [ "arm_l_joint1", "arm_l_joint2", "arm_l_joint3", "arm_l_joint4", "arm_l_joint5", "arm_l_joint6", "arm_l_joint7", "gripper_l_joint1", "arm_r_joint1", "arm_r_joint2", "arm_r_joint3", "arm_r_joint4", "arm_r_joint5", "arm_r_joint6", "arm_r_joint7", "gripper_r_joint1" ], "shape": [ 16 ] } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```

This dataset is a robotics dataset created using Physical AI Tools and LeRobot, focusing on interaction data for a dual-arm robot (model ffw_bg2_rev4_arms_only). It includes 51 episodes, totaling 8944 frames at 30fps, with 1 task and 153 videos. The data is stored in parquet files, and videos are in mp4 format. Features include timestamps, frame indices, episode indices, task indices, and observations: head camera images (resolution 376x672), left and right wrist camera images (both 240x424 resolution), and the state of 16 joints (including 7 joints per arm and 1 gripper per arm). Action data also includes 16 joint action values. The dataset is suitable for research in robot control, visual perception, and reinforcement learning, supporting training and evaluation of dual-arm cooperative manipulation tasks.

提供机构:
junpark-ai
搜集汇总
数据集介绍
junpark-ai/buckle2jh 数据集图片
构建方式
该数据集依托ROBOTIS-GIT开发的Physical AI Tools与Hugging Face LeRobot框架协同构建,面向双臂机器人操作任务采集真实世界演示数据。构建过程采用ffw_bg2_rev4_arms_only型机器人平台,通过多视角视觉传感器与关节状态记录同步获取时序数据,共采集51个回合、8944帧,以30fps频率录制,涵盖头部及左右腕部三路视频流与16维关节状态及动作向量,全部数据经LeRobot标准化流水线处理并存储为Parquet格式。
使用方法
使用者可通过Hugging Face datasets库直接加载该数据集,依据meta/info.json中定义的数据路径与视频路径索引对应回合的Parquet文件与MP4视频。数据字段包括时间戳、帧索引、回合索引、任务索引、三路视频观测、16维机器人状态及动作,适用于模仿学习、行为克隆及视觉-动作联合建模等任务。训练时可按data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet模式读取状态与动作,并同步加载videos目录下对应视频帧,实现多模态时序对齐。
背景与挑战
背景概述
在机器人学习与具身智能迅猛发展的背景下,高质量、多模态的机器人操作数据集成为推动算法进步的关键基石。buckle2jh数据集依托ROBOTIS-GIT的Physical AI Tools与HuggingFace LeRobot框架构建,聚焦于ffw_bg2_rev4_arms_only双臂机器人平台,旨在为机器人操作策略学习提供涵盖视觉观测、关节状态与动作指令的标准化数据。该数据集包含51个回合、8944帧及153段视频,以30帧每秒的速率记录了头部与双腕相机的同步影像,其核心研究问题在于如何从有限任务示范中习得可泛化的双臂协同控制策略,对机器人模仿学习与端到端操作领域具有潜在的推动意义。
当前挑战
该数据集所应对的领域问题在于双臂机器人精细操作策略的学习与泛化,传统方法难以在非结构化环境中实现稳定且协调的双臂控制,视觉-动作映射的高维性与时序依赖性构成显著障碍。构建过程中,多相机同步采集与高帧率视频流的存储带来硬件与带宽挑战,同时需确保关节状态与动作指令的精确对齐以维持数据一致性。数据规模相对有限,仅涵盖单一任务类型,任务多样性与环境变化不足可能限制模型泛化能力,而真实机器人平台上的噪声与延迟亦为数据质量带来不可忽视的干扰。
常用场景
经典使用场景
在机器人学习领域,模仿学习与视觉运动策略的端到端训练长期依赖高质量的多模态演示数据。buckle2jh数据集恰为此类研究提供了典型范例,其包含51个回合、近9000帧的双臂机器人操作记录,涵盖头部及双腕摄像头视觉流与16维关节状态及动作序列。经典使用场景聚焦于基于LeRobot框架的策略学习,研究者可借助该数据集训练从原始像素到关节动作的映射模型,完成如抓取、对位等精细操作任务,从而推动双臂协调控制算法的发展。
解决学术问题
该数据集有效缓解了双臂机器人领域公开演示数据匮乏的困境,特别是针对ffw_bg2_rev4_arms_only这一特定构型,填补了标准化、多视角同步采集数据的空白。它使得研究者能够系统探究视觉-运动表征学习、跨模态对齐以及动作序列建模等核心问题,并支持对模仿学习算法在真实物理约束下的泛化能力进行可复现的评估。其意义在于降低了硬件依赖带来的研究门槛,促进了算法比较与知识积累。
实际应用
在实际应用中,buckle2jh数据集可服务于工业与家庭服务场景下的机器人技能习得。例如,利用该数据训练的策略可直接部署于同型号双臂平台,执行诸如装配、分拣或工具使用等任务。其多摄像头配置增强了策略对遮挡与视角变化的鲁棒性,而高频动作标注则为力控与柔顺操作提供了基础。通过微调或迁移学习,该数据集亦能加速新任务的教学过程,减少现场示教成本,提升自动化系统的适应效率。
数据集最近研究
最新研究方向
在具身智能与机器人学习迅猛发展的背景下,buckle2jh数据集依托ROBOTIS生态与LeRobot框架,为双臂协同操作研究提供了高保真、多视角的示范数据。当前,该数据集的前沿方向聚焦于基于视觉-运动联合表征的模仿学习与策略泛化,尤其强调利用头部与双腕摄像头捕捉细粒度操作意图,结合16维关节状态与动作序列,推动无标定环境下的灵巧操作技能迁移。其51个回合、近9000帧的规模,契合了数据高效学习与多模态预训练的热点趋势,为机器人社区探索双臂协调、任务泛化及物理交互理解提供了关键基准,对加速通用操作策略的落地具有显著意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务