ant0nh/pnp_toy_25_20260529_025616

该数据集是一个机器人数据集，使用LeRobot创建。包含25个训练集episodes，总计18700帧数据，帧率为30fps。数据集特征包括：机器人动作（6个关节位置：肩部平移、肩部升降、肘部弯曲、手腕弯曲、手腕旋转、夹爪位置）、状态观测（与动作相同的6个关节位置）、两个摄像头图像观测（手腕摄像头和前置摄像头，均为480x640分辨率的三通道RGB视频）。此外，数据集还包含时间戳、帧索引、episode索引、索引和任务索引等元数据。机器人类型为so_follower，数据以parquet文件（存储结构化数据）和mp4视频文件（存储图像数据）格式组织，总数据大小约为300MB（数据文件100MB，视频文件200MB）。数据集适用于机器人控制、视觉伺服等研究任务。--- license: Apache 2.0 任务类别： - 机器人学 标签： - LeRobot 配置项： - 配置名称：default 数据文件：data/*/*.parquet --- 本数据集基于LeRobot构建，项目仓库地址：https://github.com/huggingface/lerobot。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=ant0nh/pnp_toy_25_20260529_025616"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集说明 - **主页：** [需补充更多信息] - **论文：** [需补充更多信息] - **许可证：** Apache 2.0 ## 数据集结构 [meta/info.json](meta/info.json): json { "代码库版本": "v3.0", "帧率": 30, "特征项": { "动作": { "数据类型": "float32", "字段名称": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "形状": [ 6 ] }, "观测状态": { "数据类型": "float32", "字段名称": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "形状": [ 6 ] }, "观测图像.腕部": { "数据类型": "视频", "形状": [ 480, 640, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "通道数": 3, "含音频": false } }, "观测图像.前部": { "数据类型": "视频", "形状": [ 480, 640, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "通道数": 3, "含音频": false } }, "时间戳": { "数据类型": "float32", "形状": [ 1 ], "字段名称": null }, "帧索引": { "数据类型": "int64", "形状": [ 1 ], "字段名称": null }, "回合索引": { "数据类型": "int64", "形状": [ 1 ], "字段名称": null }, "全局索引": { "数据类型": "int64", "形状": [ 1 ], "字段名称": null }, "任务索引": { "数据类型": "int64", "形状": [ 1 ], "字段名称": null } }, "总回合数": 25, "总帧数": 18700, "总任务数": 1, "数据块大小": 1000, "数据文件总大小（MB）": 100, "视频文件总大小（MB）": 200, "数据文件路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频文件路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "机器人类型": "so_follower", "数据集划分": { "训练集": "0:25" } } ## 引用 **BibTeX：** bibtex [需补充更多信息]

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人学习任务设计。数据通过遥操作或预设策略从SO-5Follower机器人平台采集，共包含25个任务回合、18700帧时序数据。数据格式采用Parquet文件存储结构化状态与动作信息，同时通过AV1编码的MP4视频文件记录腕部与前视两个视角的视觉观察，分辨率为640×480像素。数据集按1000帧为单位分块存储，确保加载效率与可扩展性。

特点

数据集结构精炼且专业，以30帧/秒的采样频率同步记录6维关节状态与动作指令，涵盖肩部、肘部、腕部及夹爪的完整运动链。视觉与状态数据的对齐设计使其适用于模仿学习与行为克隆范式。所有数据均统一索引与时间戳标记，支持跨回合的时序分析。数据量虽小（约300MB），但包含完整的元信息定义，便于研究者快速验证算法。

使用方法

数据集可通过LeRobot库直接加载，调用特定函数即可获取多模态序列。研究者可使用默认配置自动划分训练集与测试集，或基于索引灵活抽取帧与回合。视觉数据支持动态解码，状态与动作数据可直接与PyTorch/TensorFlow框架结合。此外，通过Hugging Face可视化工具可交互式观察各回合的观测与动作轨迹，辅助数据质量审查与算法调试。

背景与挑战

背景概述

该数据集由研究团队基于LeRobot框架构建，于特定时间节点创建，旨在推动机器人领域的模仿学习与技能获取研究。核心研究问题聚焦于如何利用有限的高质量示范数据，使机械臂执行精细的抓取与放置任务。数据集通过采集25次完整操作演示，记录了包含6自由度关节角度、腕部及前方双视角视频在内的多模态信息，为机器人策略学习提供了标准化的训练素材。尽管总数据量有限，但其结构化的格式与Apache-2.0许可协议为后续研究奠定了开放与可复现的基础，对机器人学习社区在样本效率与泛化能力方面的探索具有潜在的启发价值。

当前挑战

数据集所解决的领域问题在于如何克服机器人操作学习中高质量数据的稀缺性，以及多模态信息融合与时序建模的复杂性。构建过程中面临的核心挑战包括：设计有效的遥操作方案以采集自然且一致的示范动作；确保在有限示范样本下，动作序列与视觉观测间的时空对齐准确无误；以及平衡数据采集成本与模型训练所需的数据量。此外，仅依赖单一机器人的简单抓取任务，难以验证策略在新场景或不同物体上的泛化能力，这构成了当前数据集的另一关键局限。

常用场景

经典使用场景

在机器人学习领域，pnp_toy_25_20260529_025616数据集专为模仿学习与行为克隆研究而设计，其核心应用场景为机械臂的抓取与放置任务。数据集以高频率（30 fps）记录了SO Follower机器人在单一任务下的完整动作序列，包含肩关节、肘关节、腕关节及夹爪的六维连续动作空间，同时提供腕部与前方双视角的高清视频观测。研究者可借此训练端到端的视觉运动策略，通过编码观测图像与机器人状态，映射出精确的控制指令，从而复现人类示教下的玩具拾取与放置行为。

实际应用

在实际应用中，该数据集直接服务于工业与家居场景中的精准抓取与放置任务，例如流水线上的零件分拣或家庭环境中的玩具整理。借助LeRobot框架，开发者可基于数据集快速训练机器人感知与控制系统，构建自动化的拾取作业流水线。双视角视觉数据增强了机器人在遮挡或弱光环境下的场景理解能力，而标准的动作空间设计便于迁移至不同型号的协作机械臂。这为降低智能机器人部署成本、缩短开发周期提供了坚实的数据支撑。

衍生相关工作

基于此数据集的结构与采集规范，衍生出一系列开源模仿学习基准工作。研究界参照其基于LeRobot的统一数据格式（包含Parquet轨迹与MP4视频）构建了多任务机器人数据集及标准化评测协议，促进了可复现实验的发展。此外，其提供的So Follower机器人配置与动作空间定义被广泛应用于机器人技能迁移、元学习及跨具身泛化研究中，相关成果包括基于扩散模型的视觉运动策略、层次化任务分解方法以及隐式行为克隆框架，形成了完整的数据驱动机器人操作研究生态。