遇见数据集

HyeonseokE/teleop_pnp_40epi

收藏
Hugging Face2026-05-28 更新2026-05-31 收录
官方服务:

资源简介:

该数据集是通过LeRobot创建的机器人数据集,专门用于机器人任务。数据集包含40个总集数,总计14131帧,帧率为30 fps。机器人类型为“so_follower”。数据特征包括动作(包含6个关节位置:肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置)、观察状态(同样包含6个关节位置)、来自左腕和顶部摄像头的图像观察(分辨率为480x640,3通道彩色视频,使用av1编解码器),以及时间戳、帧索引、集索引、索引和任务索引等元数据。数据以parquet文件格式存储,视频以mp4格式存储,总数据文件大小为100 MB,视频文件大小为200 MB。数据集仅包含训练分割(0:40)。

许可证:Apache-2.0 任务类别: - 机器人学 标签: - LeRobot(LeRobot) 配置: - 配置名称:default 数据文件:data/*/*.parquet --- 本数据集基于[LeRobot(LeRobot)](https://github.com/huggingface/lerobot)构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=HyeonseokE/teleop_pnp_40epi"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集说明 - **主页:** [需补充更多信息] - **论文:** [需补充更多信息] - **许可证:** Apache-2.0 ## 数据集结构 [meta/info.json]: json { "代码库版本": "v3.0", "机器人类型": "so_follower", "总轨迹数": 40, "总帧数": 14131, "总任务数": 1, "分块大小": 1000, "数据文件总大小(MB)": 100, "视频文件总大小(MB)": 200, "帧率": 30, "数据集划分": { "训练集": "0:40" }, "数据文件路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频文件路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "数据特征": { "动作": { "数据类型": "float32", "维度名称": [ "shoulder_pan.pos(肩摆关节位置)", "shoulder_lift.pos(肩升关节位置)", "elbow_flex.pos(肘屈关节位置)", "wrist_flex.pos(腕屈关节位置)", "wrist_roll.pos(腕转关节位置)", "gripper.pos(夹爪位置)" ], "形状": [6] }, "观测.状态": { "数据类型": "float32", "维度名称": [ "shoulder_pan.pos(肩摆关节位置)", "shoulder_lift.pos(肩升关节位置)", "elbow_flex.pos(肘屈关节位置)", "wrist_flex.pos(腕屈关节位置)", "wrist_roll.pos(腕转关节位置)", "gripper.pos(夹爪位置)" ], "形状": [6] }, "观测.图像.左腕相机": { "数据类型": "video(视频)", "形状": [480, 640, 3], "维度名称": ["高度", "宽度", "通道数"], "详细信息": { "视频.高度": 480, "视频.宽度": 640, "视频.编码格式": "av1", "视频.像素格式": "yuv420p", "视频.是否为深度图": false, "视频.帧率": 30, "视频.通道数": 3, "是否包含音频": false } }, "观测.图像.顶置相机": { "数据类型": "video(视频)", "形状": [480, 640, 3], "维度名称": ["高度", "宽度", "通道数"], "详细信息": { "视频.高度": 480, "视频.宽度": 640, "视频.编码格式": "av1", "视频.像素格式": "yuv420p", "视频.是否为深度图": false, "视频.帧率": 30, "视频.通道数": 3, "是否包含音频": false } }, "时间戳": { "数据类型": "float32", "形状": [1], "维度名称": null }, "帧索引": { "数据类型": "int64", "形状": [1], "维度名称": null }, "轨迹索引": { "数据类型": "int64", "形状": [1], "维度名称": null }, "全局索引": { "数据类型": "int64", "形状": [1], "维度名称": null }, "任务索引": { "数据类型": "int64", "形状": [1], "维度名称": null } } } ## 引用 **BibTeX格式引用:** bibtex [需补充更多信息]

提供机构:
HyeonseokE
搜集汇总
数据集介绍
HyeonseokE/teleop_pnp_40epi 数据集图片
构建方式
teleop_pnp_40epi数据集依托于LeRobot框架构建,专为机器人遥操作与抓取放置任务设计。数据集通过遥操作方式采集,操作者远程操控so_follower机器人执行拾取与放置动作,共记录40个完整episode,总计14131帧数据,涵盖机器人6关节位姿(肩部、肘部、腕部及夹爪)的动作序列与状态观测。数据以每1000帧为一个chunk进行分片存储,动作与观测状态均以32位浮点数记录,同时保存了来自左腕与顶部两个视角、分辨率为480×640、帧率30fps的RGB视频流,编码采用高效的AV1格式。
使用方法
用户可通过LeRobot库便捷加载该数据集。使用时需安装LeRobot及其依赖,调用lerobot.common.datasets.lerobot_dataset模块的LeobotDataset类,指定数据集路径即可将parquet与视频数据自动关联为可迭代的样本序列。每个样本包含动作向量、状态观测、图像张量及时间戳等字段,适合直接输入到行为克隆或扩散策略等模仿学习模型中。用户还可利用Hugging Face提供的可视化工具在浏览器中预览轨迹与图像,或自行编写脚本按episode索引抽取子集进行训练与评估。
背景与挑战
背景概述
在机器人操作领域,学习从人类演示中泛化技能是迈向通用智能体的关键一步。teleop_pnp_40epi数据集由HyeonseokE等人于近期创建,依托LeRobot开源框架,聚焦于机器人远程操作中的拾取与放置任务。该数据集包含通过so_follower机器人平台采集的40个完整演示片段,共计超过14000帧高保真状态-动作序列,并配备左腕与顶部的双视角视频流(30 FPS, 640×480分辨率)。其核心研究问题在于如何利用小样本演示数据驱动机器人学习精细化的夹取与放置策略,尤其关注6自由度关节控制(含夹爪)的位姿映射。作为LeRobot生态中面向操作技能迁移的典型数据集,它弥补了现有基准在远程操控场景下的细粒度动作记录缺失,为模仿学习与行为克隆算法提供了低门槛验证平台。
当前挑战
该数据集所解决的领域挑战在于机器人操作中高效技能获取的样本效率瓶颈——传统深度强化学习需海量交互,而人类演示数据量极为有限(仅40片段)。构建过程中面临三大技术难题:首先,远程操作系统的时延补偿与力反馈缺失导致演示质量波动,需通过精确的时间戳对齐(0.03秒精度)与帧级动作平滑来保证数据一致性;其次,夹爪末端执行器在拾取任务中易产生遮挡效应,单一视角无法完整捕捉目标位姿,因此数据集创新性采用双摄像头冗余观测(左腕+顶部),但多模态视频与关节状态的异构数据融合仍存在同步挑战;最后,Apache-2.0许可下的公共发布要求确保100MB动作数据与200MB视频数据的结构化存储(Parquet+AV1编码),压缩效率与信息保真度之间的权衡构成数据工程层面的核心难题。
常用场景
经典使用场景
在机器人学习领域,遥操作示教数据是构建模仿学习模型的核心基石。teleop_pnp_40epi数据集收录了40段由人工远程操控SO系列跟随机器人完成拾取与放置(Pick-and-Place)任务的精细演示,涵盖14131帧时序数据。每帧均包含6维关节空间动作指令、对应状态观测以及左腕与顶部双视角高清视频流。研究者可借此训练基于视觉的运动策略,实现从感知到关节指令的端到端映射,特别是在小样本模仿学习范式中,该数据集为验证算法在有限演示下的泛化能力提供了标准化基准。
解决学术问题
该数据集助力解决了机器人泛化性研究中的两个关键瓶颈:如何在低数据量条件下可靠复现精细操作技能,以及多模态融合对策略鲁棒性的影响。通过提供同步的关节状态与多视角视觉观测,它支持解耦表征学习研究,探索状态空间与图像空间在策略蒸馏中的互补关系。此外,数据集中一致的拾取-放置任务框架,为评估不同运动基元编码方式(如高斯混合模型或能量基模型)对操作精度的提升贡献了可重复的实验平台。
实际应用
在实际工业与服务场景中,该数据集驱动的模型可部署于柔性制造产线,使机器人快速掌握新工件的精准夹取与转移动作。例如,经过teleop_pnp_40epi预训练的视觉-运动策略,能够适应不同尺寸或材质的零件,减少传统编程产生的停机时间。在仓储物流领域,此类数据集训练的机器人可自主完成包裹分拣与堆叠,其高帧率动作记录(30FPS)赋予模型连贯的轨迹规划能力,从而提升动态环境下的操作成功率。
数据集最近研究
最新研究方向
该数据集聚焦于机器人遥操作与模仿学习的前沿交叉领域,通过记录40个操作片段中So-Follower机械臂的关节状态、高帧率顶部与腕部视觉信息及动作序列,为构建多模态行为表征提供了基准资源。在具身智能研究浪潮下,此类精细化的遥操作数据正推动机器人从预设程序向人机协同范式跃迁;其与LeRobot框架的深度融合不仅降低了行为克隆算法的复现门槛,更通过标准化视频与状态特征对齐,加速了跨构型泛化能力的探索。当前围绕该数据集的潜在热点包括以少样本学习策略攻克非结构化拾取任务、以及利用多视角视觉输入增强操作控制鲁棒性,这对实现工业装配与家庭服务中的人机协作具有基石意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务