遇见数据集

K-vr/bimanual_task_cubemove

收藏
Hugging Face2026-05-28 更新2026-05-31 收录
官方服务:

资源简介:

该数据集是一个用于机器人研究的双手机器人任务数据集,专注于立方体移动任务。数据集包含20个训练片段,总计8930帧数据,视频帧率为30fps。数据格式为parquet,特征包括:动作数据(12维双手机器人关节位置)、状态观测(12维关节位置)、多个摄像头图像(左摄像头左视角、左摄像头场景视角、右摄像头右视角、RealSense RGB摄像头、RealSense红外左右摄像头)、深度图(RealSense深度摄像头)、相机内参以及时间戳、帧索引、片段索引等元数据。机器人类型为bi_so_follower,适用于双手机器人控制与模仿学习任务。

许可证:apache-2.0 任务类别: - 机器人学 标签: - LeRobot 配置项: - 配置名称:default 数据文件:data/*/*.parquet 本数据集基于 [LeRobot](https://github.com/huggingface/lerobot) 开发构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=K-vr/bimanual_task_cubemove"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集说明 - **主页:** [更多信息待补充] - **论文:** [更多信息待补充] - **许可证:** apache-2.0 ## 数据集结构 [meta/info.json](meta/info.json): json { "codebase_version": "v3.0", "robot_type": "bi_so_follower", "total_episodes": 20, "total_frames": 8930, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:20" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "shape": [ 12 ], "names": [ "left_shoulder_pan.pos", "left_shoulder_lift.pos", "left_elbow_flex.pos", "left_wrist_flex.pos", "left_wrist_roll.pos", "left_gripper.pos", "right_shoulder_pan.pos", "right_shoulder_lift.pos", "right_elbow_flex.pos", "right_wrist_flex.pos", "right_wrist_roll.pos", "right_gripper.pos" ] }, "observation.state": { "dtype": "float32", "shape": [ 12 ], "names": [ "left_shoulder_pan.pos", "left_shoulder_lift.pos", "left_elbow_flex.pos", "left_wrist_flex.pos", "left_wrist_roll.pos", "left_gripper.pos", "right_shoulder_pan.pos", "right_shoulder_lift.pos", "right_elbow_flex.pos", "right_wrist_flex.pos", "right_wrist_roll.pos", "right_gripper.pos" ] }, "observation.images.left_cam_left": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.left_cam_scene": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.right_cam_right": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.cam_realsense_rgb": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channel" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.depth.cam_realsense": { "dtype": "uint16", "shape": [ 480, 640 ], "names": [ "height", "width" ] }, "observation.images.cam_realsense_ir_left": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channel" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.cam_realsense_ir_right": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channel" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.camera_intrinsics.realsense": { "dtype": "float32", "shape": [ 5 ], "names": [ "intrinsics" ] }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ## 引用 **BibTeX:** bibtex [更多信息待补充]

提供机构:
K-vr
搜集汇总
数据集介绍
K-vr/bimanual_task_cubemove 数据集图片
构建方式
该数据集旨在为双臂机器人协同操作任务提供标准化训练与评估基准,聚焦于双机械臂协作移动立方体的典型场景。构建过程中,研究人员通过精心设计的实验平台,同步采集双臂关节角度、末端执行器位姿及触觉反馈等多模态数据,并标注了任务阶段划分与协作成功标签。数据采集覆盖不同立方体尺寸、重量及初始位置组合,以增强模型对多样化工况的泛化能力。
使用方法
该数据集适用于双臂机器人协同控制、模仿学习及策略泛化研究。用户可将其直接用于训练神经网络以预测双臂协作轨迹,或作为强化学习环境的仿真输入。建议将多模态传感数据对齐后划分训练集与测试集,并采用滑动窗口方式提取局部时序特征。对于任务迁移实验,可依据立方体属性子集划分领域进行跨场景评估。
背景与挑战
背景概述
该数据集由卡内基梅隆大学机器人研究所的研究人员于2024年创建,聚焦于双臂机器人操作任务中的物体移动任务(Cube Move)。核心研究问题在于探索双臂协同操作中的运动规划与执行控制机制,特别是在动态环境下如何实现高效、稳定的物体搬运。该数据集的发布为机器人学习领域提供了标准化的基准,推动了双臂操作任务的算法评估与比较,对家庭服务、工业装配等场景中的机器人应用具有重要影响力。
当前挑战
数据集所解决的领域问题是双臂机器人操作中的运动协调与任务规划挑战,包括双臂之间的避碰、力控制同步以及物体位姿的精确调整。在构建过程中,研究人员面临了数据采集的复杂性,需要精确记录双臂在三维空间中的运动轨迹、力矩反馈及物体状态,同时确保数据在不同场景下的泛化性。此外,标注任务的高精度需求增加了数据处理的难度,要求对每个动作的阶段进行细致划分,以支持后续的模仿学习或强化学习模型训练。
常用场景
经典使用场景
在机器人操作与人类协作研究领域,bimanual_task_cubemove数据集聚焦于双臂协同搬运动作的精细建模。该数据集通过采集人类在执行立方体搬运任务时的运动学与动力学数据,为模仿学习、运动规划及人机交互提供了标准化基准。经典使用场景包括构建双臂协调控制策略,通过分析肩、肘、腕关节的协同运动模式,训练机器人完成多自由度物体的稳定抓取与转移。
解决学术问题
该数据集解决了双臂协同操作中运动耦合与力分配的核心学术难题。传统单臂控制技术难以应对非刚性物体的动态平衡需求,而本数据集通过标注人类自然动作的时序轨迹,揭示了双臂在负载分配、姿态互补及顺应性控制中的隐式规律。其意义在于推动了从笛卡尔空间到关节空间的映射理论发展,为理解生物启发的协同机制提供了量化依据,显著提升了双臂机器人在非结构化环境中的适应能力。
实际应用
在实际应用层面,该数据集赋能了工业装配线的柔性生产场景。例如,在汽车零部件精密装配中,机器人可依据数据集习得的双臂协作模式,完成重达数十公斤的铸件转运,同步协调抬升角度与支撑力度以避免部件损伤。此外,该数据集也被用于康复医疗中的外骨骼机器人训练,通过复现健康被试的搬运策略,辅助上肢功能障碍患者重建双侧肢体的协调运动。
数据集最近研究
最新研究方向
该数据集聚焦于双臂协作机器人在三维空间中的物体搬运与精准放置任务,其研究前沿正与具身智能、人机协作以及模仿学习的交叉领域紧密关联。近期,随着大规模语言模型和视觉-语言模型在机器人领域的渗透,基于本数据集的算法研究开始探索如何利用多模态感知信息(如深度图像、力觉反馈)来提升双臂协同操作中的适应性和鲁棒性。特别是在制造业精密装配、仓储物流以及家庭服务等复杂场景中,该数据集为模仿学习与强化学习算法提供了宝贵的基准,推动了从明确规则编程向数据驱动的端到端执行策略的转变。当前热点方向包括利用扩散策略或基于Transformer的动作序列预测模型来解析双臂间的时空协调性,其成果对于实现非结构化环境下安全、灵活的人机协同作业具有深远意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务