遇见数据集

HyeonseokE/SO101-StackBlock_Ours_60epi

收藏
Hugging Face2026-05-28 更新2026-05-31 收录
官方服务:

资源简介:

该数据集由LeRobot创建,专注于机器人领域,具体为SO101机器人(follower类型)。数据集包含60个总集和51813总帧,数据文件大小为100MB,视频文件大小为200MB,帧率为10fps。特征包括观察状态(如机器人关节位置)、动作、顶部和左腕图像视频、末端执行器位置、夹持器状态、技能信息(如自然语言描述、验证问题、类型和进度)、子任务信息(如自然语言、对象名称和目标位置),以及时间戳、帧索引等元数据。数据集用于机器人学习任务,支持多种输入和输出模式。

许可证: Apache-2.0 任务类别: - 机器人学 标签: - LeRobot(LeRobot) 配置项: - config_name: default data_files: data/*/*.parquet --- 本数据集基于[LeRobot(LeRobot)](https://github.com/huggingface/lerobot) 构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=HyeonseokE/SO101-StackBlock_Ours_60epi"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集描述 - **主页:** [更多信息待补充] - **论文:** [更多信息待补充] - **许可证:** Apache-2.0 ## 数据集结构 `[meta/info.json]`: json { "codebase_version": "v3.0", "robot_type": "so101_follower", "total_episodes": 60, "total_frames": 51813, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 10, "splits": { "train": "0:60" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "observation.state": { "dtype": "float32", "shape": [ 6 ], "names": [ "肩关节偏航关节位置", "肩关节升降关节位置", "肘关节屈曲关节位置", "腕关节屈曲关节位置", "腕关节旋转关节位置", "夹爪位置" ] }, "action": { "dtype": "float32", "shape": [ 6 ], "names": [ "肩关节偏航关节位置", "肩关节升降关节位置", "肘关节屈曲关节位置", "腕关节屈曲关节位置", "腕关节旋转关节位置", "夹爪位置" ] }, "observation.images.top": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "高度", "宽度", "通道数" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 10, "video.channels": 3, "has_audio": false } }, "observation.images.left_wrist": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "高度", "宽度", "通道数" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 10, "video.channels": 3, "has_audio": false } }, "observation.ee_pos.robot_xyzrpy": { "dtype": "float32", "shape": [ 6 ], "names": [ "X轴坐标", "Y轴坐标", "Z轴坐标", "滚转角", "俯仰角", "偏航角" ] }, "observation.gripper_binary": { "dtype": "float32", "shape": [ 1 ], "names": null }, "skill.natural_language": { "dtype": "string", "shape": [ 1 ], "names": null }, "skill.verification_question": { "dtype": "string", "shape": [ 1 ], "names": null }, "skill.type": { "dtype": "string", "shape": [ 1 ], "names": null }, "skill.progress": { "dtype": "float32", "shape": [ 1 ], "names": null }, "skill.goal_position.joint": { "dtype": "float32", "shape": [ 6 ], "names": [ "肩关节偏航关节位置", "肩关节升降关节位置", "肘关节屈曲关节位置", "腕关节屈曲关节位置", "腕关节旋转关节位置", "夹爪位置" ] }, "skill.goal_position.robot_xyzrpy": { "dtype": "float32", "shape": [ 6 ], "names": [ "X轴坐标", "Y轴坐标", "Z轴坐标", "滚转角", "俯仰角", "偏航角" ] }, "skill.goal_position.gripper": { "dtype": "float32", "shape": [ 1 ], "names": [ "夹爪位置" ] }, "subtask.natural_language": { "dtype": "string", "shape": [ 1 ], "names": null }, "subtask.object_name": { "dtype": "string", "shape": [ 1 ], "names": null }, "subtask.target_position": { "dtype": "float32", "shape": [ 3 ], "names": [ "X轴坐标", "Y轴坐标", "Z轴坐标" ] }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ## 引用 **BibTeX格式:** bibtex [更多信息待补充]

提供机构:
HyeonseokE
搜集汇总
数据集介绍
HyeonseokE/SO101-StackBlock_Ours_60epi 数据集图片
构建方式
SO101-StackBlock_Ours_60epi数据集依托LeRobot框架构建,专注于机器人堆叠方块任务。通过so101_follower机器人平台,以10帧每秒的采样频率采集了60个完整的操作回合,总计51,813帧数据。数据以parquet格式存储为1,000帧大小的分块文件,并同步录制了顶部与左腕两个视角的H.264编码视频,分辨率均为640×480。每条轨迹不仅记录了6维关节状态与动作序列,还附带了自然语言描述的子任务与技能标签,以及验证问题与目标位置等结构化元信息。
使用方法
数据集已标准化为LeRobot兼容格式,可直接通过Hugging Face的datasets库加载。用户需安装LeRobot库,使用`lerobot.Dataset`类读取parquet与视频文件。时间步与回合索引字段便于轨迹检索,特征字典清晰定义了观测空间(图像与关节状态)与动作空间。针对多技能与子任务字段,可分别提取`skill.natural_language`和`subtask.natural_language`作为条件信号,结合`skill.goal_position`实现目标条件策略训练。推荐用于机器人操作领域的模仿学习、语言条件策略及视觉运动控制研究。
背景与挑战
背景概述
SO101-StackBlock_Ours_60epi数据集由研究者HyeonseokE基于LeRobot框架创建,专注于机器人操作任务中的积木堆叠行为。该数据集收录了60个完整演示回合,共计51813帧图像与状态序列,涵盖6自由度机械臂的关节位置、末端执行器位姿及双目视觉观测等多模态信息。作为面向模仿学习与机器人技能获取的开源资源,其通过精心设计的任务注释体系(包括自然语言指令、子目标位置及进度评估等)为智能体学习精细操作提供了结构化训练范例,对推动具身智能领域中物体堆叠技能的系统化研究具有重要参考价值。
当前挑战
数据集的核心挑战在于解决机器人精细操作中的多模态感知与动作耦合问题。领域层面,积木堆叠要求机械臂在6维连续动作空间中实现亚毫米级精度控制,而视觉反馈与本体感知的时延匹配、非结构化环境下的抗干扰策略均构成技术难点。构建过程中,如何保证60个演示回合的轨迹多样性(避免陷入局部最优模式)、平衡人类示范与自主探索的比例、以及应对高维度状态特征(如6维关节角与3维空间位置的复合表征)带来的维度灾难,亦对数据采集策略与特征降维方法提出了严苛要求。
常用场景
经典使用场景
SO101-StackBlock_Ours_60epi数据集专注于机器人堆叠方块这一经典操作任务,是模仿学习与行为克隆研究中的典范数据集。该数据集包含60个完整演示回合,每个回合由机械臂的6自由度关节位置、末端执行器位姿、夹爪状态以及顶部和左腕部摄像头采集的高清视频流构成。这些精细的时序观测数据为训练机器人从感知到动作的端到端策略提供了理想的训练材料,广泛应用于验证模仿学习算法在精密操作任务上的表现。
解决学术问题
该数据集有效解决了机器人精细操作学习中数据稀缺与状态空间复杂性的学术难题。通过提供多维度的观测信息,包括关节状态、视觉图像及语言标注的子任务描述,它支持研究者探索多模态融合的表示学习方法。更重要的是,数据集引入了自然语言指令(skill.natural_language)和验证问题(skill.verification_question),为将语言理解融入机器人控制这一前沿方向提供了基准,推动了具身智能领域中语言引导操作任务的研究进展。
实际应用
在实际应用中,SO101-StackBlock_Ours_60epi数据集可用于训练工业机械臂执行精准的拾取与放置任务,例如在电子元件装配或仓储物流领域的自动分拣场景中。通过模仿数据集中的专家演示,机械臂能够学会将方块稳健地堆叠至指定位置,这一能力可直接迁移至需要高精度空间操作的生产线。此外,数据集中的多视角视频数据还可用于开发基于视觉的机器人故障检测系统。
数据集最近研究
最新研究方向
本数据集聚焦于机器人精细操作领域的模仿学习前沿,利用LeRobot框架采集的SO101型机械臂在堆叠方块任务中的60个完整操作回合数据,为研究基于视觉与运动状态联合驱动的技能学习提供了高质量原型样本。当前,随着大语言模型与机器人操作任务的深度融合,具备自然语言指令解析与子任务分解能力的端到端学习框架正成为热点。该数据集不仅记录了肩部、肘部、腕部等多关节的连续运动轨迹与夹爪状态,还创新性地引入了技能的自然语言描述、验证问题及子目标位置等语义标签,为探索语言引导下的可解释机器人操作策略、跨任务泛化能力评估以及多模态融合的因果推理研究奠定了坚实的数据基础,未来有望推动工业装配与家庭服务场景中机器人自主学习能力的飞跃。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务