遇见数据集

HyeonseokE/SO101-PlaceSpoon_Ours_60epi

收藏
Hugging Face2026-05-28 更新2026-05-31 收录
官方服务:

资源简介:

这是一个由LeRobot创建的机器人操作数据集,专注于放置勺子任务。数据集包含60个episodes,共21307帧数据,使用so101_follower机器人类型。数据特征包括机器人观察状态(6个关节位置)、动作(6个关节位置)、图像观测(顶部和左腕视角的RGB视频,分辨率480x640,10fps)、机器人末端执行器位置和姿态、夹爪状态、技能信息(自然语言描述、验证问题、类型、进度、目标关节位置和末端位置)、子任务信息(自然语言描述、对象名称、目标位置)以及时间戳、帧索引、episode索引等元数据。数据集用于机器人学习和控制任务,支持训练和评估。

--- 许可证:Apache-2.0 任务类别: - 机器人学 标签: - LeRobot(LeRobot) 配置项: - 配置名称:default 数据文件路径:data/*/*.parquet --- 本数据集由[LeRobot(LeRobot)](https://github.com/huggingface/lerobot)构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=HyeonseokE/SO101-PlaceSpoon_Ours_60epi"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集说明 - **主页**:[更多信息待补充] - **论文**:[更多信息待补充] - **许可证**:Apache-2.0 ## 数据集结构 [meta/info.json](meta/info.json): json { "codebase_version": "v3.0", "robot_type": "so101_follower", "total_episodes": 60, "total_frames": 21307, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 10, "splits": { "train": "0:60" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "observation.state": { "dtype": "float32", "shape": [ 6 ], "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ] }, "action": { "dtype": "float32", "shape": [ 6 ], "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ] }, "observation.images.top": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 10, "video.channels": 3, "has_audio": false } }, "observation.images.left_wrist": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 10, "video.channels": 3, "has_audio": false } }, "observation.ee_pos.robot_xyzrpy": { "dtype": "float32", "shape": [ 6 ], "names": [ "x", "y", "z", "roll", "pitch", "yaw" ] }, "observation.gripper_binary": { "dtype": "float32", "shape": [ 1 ], "names": null }, "skill.natural_language": { "dtype": "string", "shape": [ 1 ], "names": null }, "skill.verification_question": { "dtype": "string", "shape": [ 1 ], "names": null }, "skill.type": { "dtype": "string", "shape": [ 1 ], "names": null }, "skill.progress": { "dtype": "float32", "shape": [ 1 ], "names": null }, "skill.goal_position.joint": { "dtype": "float32", "shape": [ 6 ], "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ] }, "skill.goal_position.robot_xyzrpy": { "dtype": "float32", "shape": [ 6 ], "names": [ "x", "y", "z", "roll", "pitch", "yaw" ] }, "skill.goal_position.gripper": { "dtype": "float32", "shape": [ 1 ], "names": [ "gripper.pos" ] }, "subtask.natural_language": { "dtype": "string", "shape": [ 1 ], "names": null }, "subtask.object_name": { "dtype": "string", "shape": [ 1 ], "names": null }, "subtask.target_position": { "dtype": "float32", "shape": [ 3 ], "names": [ "x", "y", "z" ] }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ## 引用 **BibTeX引用:** bibtex [更多信息待补充]

提供机构:
HyeonseokE
搜集汇总
数据集介绍
HyeonseokE/SO101-PlaceSpoon_Ours_60epi 数据集图片
构建方式
SO101-PlaceSpoon_Ours_60epi数据集是专为机器人操作任务设计的精细化数据集,基于LeRobot框架构建而成。该数据集包含60个示范轨迹,总计21307帧数据,均由SO101型追随机器人采集完成。数据以1000帧为单元进行分块存储,其中状态与动作信息以Parquet格式保存,视觉信息则通过H.264编码的视频文件记录,涵盖了从顶部和左手腕两个视角获取的480×640分辨率图像。此外,数据集中精心标注了语言技能描述、验证问题、子任务目标以及末端执行器的六维位姿与夹爪二值状态,为模仿学习提供了丰富的多模态对齐信息。
使用方法
该数据集可借助LeRobot生态高效调用,通过HuggingFace的datasets库加载已划分好的训练集(60条轨迹全部用于训练)。用户可直接读取Parquet文件获取六维状态与动作数据,同时关联的视频文件可按帧提取顶部与左手腕的视觉观测。数据集内嵌的技能与子任务标注支持分层式策略学习,开发者可将自然语言标签作为条件输入训练模型,或将验证问题用于测试策略的语义理解能力。由于数据以标准格式存储,其兼容PyTorch或TensorFlow等主流框架,便于快速集成到现有的机器人学习流水线中。
背景与挑战
背景概述
该数据集由研究机构或个人HyeonseokE于近期创建,旨在服务于机器人操作领域的模仿学习研究。核心研究问题聚焦于如何利用多模态传感器数据,包括来自顶部和左腕摄像头的视觉图像、机器人关节状态(如肩部、肘部、腕部及夹爪的位姿)以及末端执行器坐标,驱动SO101型机械臂完成放置勺子的精细操作任务。数据采集基于LeRobot框架,共收录60个演示片段,总计21,307帧图像与状态序列,所有数据均以Apache-2.0许可开源发布。此类细粒度任务数据集对于促进机器人从示范中泛化学习策略、降低对人工编程的依赖具有重要价值,尤其为家庭服务与环境辅助场景下的灵巧操作提供了基础资源。
当前挑战
该数据集所解决的领域问题在于机器人物体操作任务的复杂性与高精度控制。具体挑战包括:1)灵巧抓取与精确放置的协调问题,即机械臂需在动态环境中将勺子稳定放置于目标位置,涉及对夹爪开合、腕部转动及末端位姿的联合控制;2)多视角视觉与状态信息的融合难题,顶部与腕部摄像头提供的二维图像需与六维位姿、夹爪二值状态等数据高效对齐,以保证策略学习的鲁棒性。构建过程中,挑战主要源于数据采集的精细度:仅含60个示范片段(约3.5分钟有效数据),样本量有限可能导致模型过拟合;同时,视频编码与parquet文件的分块存储需确保传感器流的时间同步无损,对采集硬件的实时性与标注一致性提出了较高要求。
常用场景
经典使用场景
SO101-PlaceSpoon_Ours_60epi数据集在机器人操纵领域内,尤其面向精细操作任务的学习与模拟,扮演着至关重要的角色。该数据集专注于‘放置勺子’这一具体作业,提供了从视觉感知到关节动作控制的完整数据链路。研究者可利用其包含的六自由度关节状态与末端执行器位姿,结合多视角相机(如顶视和左腕视角)的高清视频流,构建从观测到动作的端到端映射模型。数据集重复60个回合、超过两万帧的高频采样,为模仿学习、行为克隆等范式提供了坚实的训练基础,从而推动机器人对灵巧操作技能的深度掌握。
解决学术问题
在学术领域,该数据集直面机器人操作学习中数据稀缺与任务泛化能力不足的核心难题。它通过构建包含自然语言指令、子任务分解与验证问题的结构化元数据,为研究层次化任务解析与技能迁移提供了稀缺资源。例如,借助skill.progress与subtask.object_name等标注信息,学术界可探索如何将复杂拾取-放置行为拆解为可复用的子技能单元,并进一步验证零样本迁移或少样本学习策略的有效性。这一贡献有效缓解了传统手动编程在非结构化环境中的局限性,为理解人机协作中的意图推理与任务规划开辟了新的实验验证路径。
实际应用
该数据集在实际应用中主要服务于智能服务机器人领域的技能部署。例如,在餐饮服务或家庭助老场景中,机器人需准确完成餐具摆放等高频低容错任务。借助该数据集训练的模型,机器人可依托实时图像输入与本体感受反馈,实现从汤匙抓取到精确放置的连贯操作。同时,数据集提供的多模态数据结构——包括关节位置、舵机状态与位姿估计——支持在真实硬件架设中部署视觉伺服控制与自适应抓取策略,从而提升机器人在动态、半结构化环境中的作业稳健性与任务完成效率。
数据集最近研究
最新研究方向
该数据集聚焦于机器人精细操作任务中的日常用品操作,特别针对勺子放置这一细微动作的模仿学习。在当前具身智能和机器人学习的前沿浪潮中,利用低成本、高复现性的遥操作数据收集范式,结合LeRobot框架构建多模态演示数据集,已成为推动机器人从仿真走向真实世界部署的关键路径。该数据集不仅提供了包含6自由度关节状态与末端执行器位姿的高频观测信号,还引入了自然语言指令与子任务分解标注,为研究复杂任务拆解、跨模态对齐及技能泛化提供了高价值数据支持。其与大规模预训练模型和视觉-语言-动作联合学习的热点紧密结合,有望促进机器人在非结构化厨房环境中实现精准、安全的自主操作,对家庭服务机器人产业化具有重要推动作用。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务