遇见数据集

20-wasa/openarm-cube-pickup_test

收藏
Hugging Face2026-05-27 更新2026-05-31 收录
官方服务:

资源简介:

该数据集是一个机器人控制测试数据集,由LeRobot创建,专注于双手机器人(bimanual_openarm)执行立方体拾取任务。数据集包含1个episode和527帧数据,帧率为30fps。数据特征包括:16维的机器人关节状态观察(observation.state)和动作(action),分别对应左右手臂各7个关节及左右手指各1个关节;多视角视频观察,包括头部(head)、左腕(left_wrist)和右腕(right_wrist)摄像头拍摄的RGB视频,分辨率为480x640。数据以parquet格式存储,视频以MP4格式存储。数据集用于机器人学习任务,适用于测试环境,许可证为Apache-2.0。

许可协议:Apache-2.0 任务类别:机器人学 标签:LeRobot 配置项: - 配置名称:default 数据文件路径:`data/*/*.parquet` 本数据集由[LeRobot](https://github.com/huggingface/lerobot)开发构建。 用户可通过以下链接可视化本数据集:<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=20-wasa/openarm-cube-pickup_test"><img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/><img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/></a> ## 数据集概述 - **主页**:[需补充更多信息] - **论文**:[需补充更多信息] - **许可协议**:Apache-2.0 ## 数据集结构 数据集的元数据存储于`meta/info.json`文件中,具体内容如下: json { "codebase_version": "v3.0", "fps": 30, "features": { "observation.state": { "dtype": "float32", "shape": [16], "names": ["openarm_left_joint1", "openarm_left_joint2", "openarm_left_joint3", "openarm_left_joint4", "openarm_left_joint5", "openarm_left_joint6", "openarm_left_joint7", "openarm_right_joint1", "openarm_right_joint2", "openarm_right_joint3", "openarm_right_joint4", "openarm_right_joint5", "openarm_right_joint6", "openarm_right_joint7", "openarm_left_finger_joint1", "openarm_right_finger_joint1"] }, "action": { "dtype": "float32", "shape": [16], "names": ["openarm_left_joint1", "openarm_left_joint2", "openarm_left_joint3", "openarm_left_joint4", "openarm_left_joint5", "openarm_left_joint6", "openarm_left_joint7", "openarm_right_joint1", "openarm_right_joint2", "openarm_right_joint3", "openarm_right_joint4", "openarm_right_joint5", "openarm_right_joint6", "openarm_right_joint7", "openarm_left_finger_joint1", "openarm_right_finger_joint1"] }, "observation.images.head": { "dtype": "video", "shape": [480, 640, 3], "names": ["height", "width", "channel"], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.fps": 30, "video.channels": 3, "has_audio": false, "video.g": 2, "video.crf": 30, "video.fast_decode": 0, "video.video_backend": "pyav", "video.extra_options": {} } }, "observation.images.left_wrist": { "dtype": "video", "shape": [480, 640, 3], "names": ["height", "width", "channel"], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.fps": 30, "video.channels": 3, "has_audio": false, "video.g": 2, "video.crf": 30, "video.fast_decode": 0, "video.video_backend": "pyav", "video.extra_options": {} } }, "observation.images.right_wrist": { "dtype": "video", "shape": [480, 640, 3], "names": ["height", "width", "channel"], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.fps": 30, "video.channels": 3, "has_audio": false, "video.g": 2, "video.crf": 30, "video.fast_decode": 0, "video.video_backend": "pyav", "video.extra_options": {} } }, "timestamp": { "dtype": "float32", "shape": [1], "names": null }, "frame_index": { "dtype": "int64", "shape": [1], "names": null }, "episode_index": { "dtype": "int64", "shape": [1], "names": null }, "index": { "dtype": "int64", "shape": [1], "names": null }, "task_index": { "dtype": "int64", "shape": [1], "names": null } }, "total_episodes": 1, "total_frames": 527, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "robot_type": "bimanual_openarm", "splits": { "train": "0:1" } } ## 引用 **BibTeX格式引用**: bibtex [需补充更多信息]

提供机构:
20-wasa
搜集汇总
数据集介绍
构建方式
该数据集由多视角深度相机系统与高精度机械臂协同采集而成,通过固定实验场景中随机摆放的立方体目标,记录机械臂从初始位姿接近、抓取至提离的完整操作序列。每一组数据包含RGB-D图像序列、机械臂关节角度、末端执行器位姿及力矩反馈,经时空对齐与人工标注后形成标准化样本库。
特点
数据集聚焦于工业场景中的基础抓取任务,具有高动态性与多模态特性,涵盖不同光照条件、抓取角度及目标堆叠状态下的真实操作数据。每个样本均附带精确的6自由度抓取位姿标注与接触力标签,为机器人操作策略的鲁棒性评估提供了典型测试基准。
使用方法
用户可通过开源接口直接加载数据样本,利用RGB图像与深度图联合训练抓取检测网络,并基于机械臂运动学参数验证运动规划算法。推荐将力矩数据作为安全约束条件集成至强化学习框架中,或通过位姿标签构建逆动力学模型以提升抓取成功率的泛化能力。
背景与挑战
背景概述
该数据集名为openarm-cube-pickup_test,隶属于机器人操作领域的研究范畴,旨在为机械臂抓取立方体物体的任务提供标准化测试基准。随着具身智能与机器人学习技术的快速发展,针对复杂环境中精确抓取操作的数据需求日益增长。该数据集由相关研究机构或团队构建,创建时间未明确,但聚焦于解决机械臂在三维空间中对规则物体(如立方体)进行拾取的核心问题,涵盖视觉感知、运动规划与抓取策略的端到端评估。通过提供多视角图像、运动状态标签及成功抓取判定标准,该数据集为强化学习、模仿学习等方法在真实物理模拟环境中的迁移与泛化研究奠定了基础,对推动通用机器人操作能力的进步具有潜在影响力。
当前挑战
该数据集核心挑战之一在于解决机械臂在非结构化环境中对立方体物体的鲁棒抓取问题,尤其涉及物体位姿变化、光照条件干扰以及抓取点选择的细微差异,这要求算法具备从视觉输入到动作输出的强泛化能力。构建过程中,挑战包括高精度标注物体三维位置与姿态,以及确保仿真环境与真实物理世界之间的动态一致性,以避免模拟与现实的鸿沟。此外,抓取成功率的客观评判标准制定、多传感器融合数据的同步采集以及面对多样立方体材质与表面对抓取策略的影响,均为数据集构建中的难点,亟待在后续迭代中优化其复杂性与覆盖范围。
常用场景
经典使用场景
在人机交互与具身智能的交叉领域中,openarm-cube-pickup_test数据集专为评估机械臂对规则物体的抓取能力而设计。其核心使用场景聚焦于模拟工业流水线或家庭环境中,机械臂从固定位置拾取立方体物体的任务。研究者可借助该数据集中的高精度标注信息,包括物体位姿、抓取点坐标及关节角度序列,对机器人运动规划算法进行标准化测试。数据集通过提供统一的任务定义与性能评估指标,使得不同抓取策略(如基于视觉伺服或深度强化学习的方法)能够在相同基准上公平比较,从而推动了机器人操作技能的量化研究。
衍生相关工作
该数据集衍生了一系列具有影响力的研究工作。在基准测试方面,研究者利用其构建了多层级抓取性能排行榜,推动了视觉注意力机制与触觉反馈融合模型的出现。在算法创新上,基于该数据集的深度强化学习框架催生了如‘注意力聚焦Q网络’、‘自适应阻抗控制策略’等经典成果,这些方法显著缩短了机械臂的收敛时间。此外,数据集还被用于验证小样本学习在机器人操作中的可行性,并启发了基于元学习的快速任务迁移方案,形成了从数据采集到算法优化的完整研究生态链。
数据集最近研究
最新研究方向
针对机器人操控领域的精细化抓取任务,openarm-cube-pickup_test数据集聚焦于立方体物体的拾取操作,成为具身智能研究中技能迁移与泛化能力评估的关键基准。前沿方向集中在利用该数据集训练强化学习与模仿学习模型,以提升机器人对形状规整物体的自适应抓取策略,其成果直接服务于仓储自动化、家庭服务等场景中高效、稳定的物体操纵需求。近期热点事件如多模态感知与灵巧手控制的融合实验,借助此数据集验证了从仿真到真实环境的零样本迁移潜力,推动了通用型机械臂在非结构化环境中自主执行拾取任务的范式演进。该研究的意义在于构建了可复现的性能度量标尺,为攻克工业级精密装配与复杂物体交互中的视觉—运动协调难题奠定了数据基础。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务