HyeonseokE/teleop_pnp_60epi

该数据集是一个机器人操作数据集，使用LeRobot创建。它包含60个episodes，总计21204帧，帧率为30fps。数据集专门针对so_follower机器人类型，涉及单个任务。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集特征包括：动作数据（包含6个关节位置：肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部滚动和夹爪位置）、观测状态（同样包含6个关节位置）、图像观测（来自左腕摄像头和顶部摄像头的视频，分辨率为480x640，3通道，编码为av1），以及时间戳、帧索引、episode索引、索引和任务索引等元数据。数据集仅包含训练集，覆盖所有episodes。This dataset is a robotics manipulation dataset created using LeRobot. It contains 60 episodes, totaling 21,204 frames at a frame rate of 30fps. The dataset is specifically for the so_follower robot type and involves a single task. Data is stored in parquet format, with a total data file size of 100MB and video file size of 200MB. The dataset features include: action data (with 6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position), observation state (also with 6 joint positions), image observations (videos from left wrist and top cameras, with a resolution of 480x640, 3 channels, encoded in av1), and metadata such as timestamp, frame index, episode index, index, and task index. The dataset only includes a training set covering all episodes.

搜集汇总

数据集介绍

构建方式

teleop_pnp_60epi数据集基于LeRobot框架构建，旨在为机器人操控任务提供标准化的训练数据。该数据集通过遥操作方式采集，机器人类型被设定为so_follower，共包含60个完整操控序列，总帧数达21204帧，以30帧每秒的频率记录。数据以parquet格式存储，占用约100 MB的存储空间，视频文件则额外占用200 MB，采用AV1编码以确保高效压缩与视觉质量。每个序列均划分为训练集，无验证或测试集划分，便于直接用于模仿学习等算法的训练。

特点

该数据集的核心特点在于其多模态结构与细致标注。特征空间涵盖6维动作数据与状态观测，包括肩关节、肘关节、腕关节及夹爪的位置信息。此外，数据集提供两个视角的视觉观测：左腕相机与顶部相机，均以480x640像素分辨率记录RGB图像，格式为视频，便于处理时序依赖。数据集中包含了时间戳、帧索引、序列索引及任务索引等元信息，使得时间序列分析与多任务学习得以高效实施。整体上，数据集呈现高度结构化、信息全面且易于扩展的优势。

使用方法

使用该数据集时，推荐采用LeRobot库进行数据加载与预处理。用户可通过访问HuggingFace上的可视化空间预览数据，以检验采集质量。数据集以parquet文件分块存储于data目录下，视频文件存放于videos目录，便于按需读取。训练时，可直接将60个序列全部作为训练数据，利用提供的动作与状态特征进行行为克隆或逆动力学建模。此外，元数据文件meta/info.json提供了特征定义与数据组织方式，为自定义数据管道提供了清晰的参考依据。

背景与挑战

背景概述

在机器人学习领域，从人类示教数据中学习复杂操作技能一直是研究的热点。由HyeonseokE等人于近期构建的teleop_pnp_60epi数据集，旨在为机器人抓取与放置（pick-and-place）任务提供高质量的遥操作示教样本。该数据集基于LeRobot框架，利用so_follower机器人平台，通过人类远程操控方式采集了60个完整回合（episode），共计超过21000帧的高频时序数据（30 fps）。每条轨迹均包含6维关节空间指令（如肩部、肘部、腕部及夹爪位置）以及左右腕部和顶部视角的同步视频流（分辨率480×640）。数据集采用Apache-2.0许可协议开放，为机器人领域的模仿学习、策略迁移及多模态感知融合研究提供了标准化且可直接使用的基准资源，尤其适用于精细操作场景的算法验证与复现。

当前挑战

该数据集所面临的挑战主要体现在两个层面。首先，在领域问题层面，机器人拾取与放置任务本身涉及精确的物体识别、动态环境交互以及末端执行器的灵巧控制，而现有的60个回合样本量相对有限，难以覆盖多样化的物体形状、材质与光照条件，导致学得的策略泛化能力受限。其次，在构建过程中，遥操作数据采集面临人机同步精度与噪声控制难题：操作者的动作通过键盘或手柄映射到机器人关节时，不可避免地引入延迟与抖动；同时，多视角视频与关节状态的严格时间戳对齐（需30 Hz精度）对采集与后处理流水线提出了高要求。此外，数据集仅包含单一任务标签（pick-and-place），缺乏对物体属性、环境布局等上下文信息的标注，限制了多任务学习与任务条件策略的拓展性。

常用场景

经典使用场景

在机器人学习领域，teleop_pnp_60epi数据集凭借其精心录制的60个抓取与放置（pick-and-place）操作回合，成为模仿学习与行为克隆研究的理想素材。该数据集包含超过21,000帧的高频时序观测数据，涵盖6自由度机械臂So_Follower的状态信息以及顶部与左手腕双视角RGB视频流。研究者通常利用这些数据训练机器人通过视觉输入直接映射动作策略，从而在无需显式建模环境动力学的情况下，复现精准的物体操作技能。这一经典范式在少样本模仿学习与任务泛化研究中具有不可替代的基准价值。

衍生相关工作

围绕teleop_pnp_60epi数据集，学界与工业界已衍生出多项经典工作。例如，基于其结构化数据格式，研究者开发了多种策略学习方法，如扩散策略（Diffusion Policy）在机器人精细操作中的适配变体。另有工作利用该数据集验证跨具身迁移学习的可行性，将一个机械臂上训练的策略通过域随机化技术迁移至不同构型的机器人。此外，数据增强与注意力机制的结合也被引入以提升策略的泛化能力，这些研究均以该数据集为测试床，推动了机器人模仿学习领域的持续创新。

数据集最近研究

最新研究方向

该数据集聚焦于机器人遥操作与技能迁移的前沿研究，通过60个示范轨迹的精细采集，为模仿学习提供了高保真的多模态训练素材。在当前具身智能热潮下，结合视觉与关节状态信息的闭环控制范式，正推动机器人从固定程序执行向灵活泛化操作演进。该数据集的公开，有助于破解小样本学习中的‘corner case’难题，加速机器人操作技能在组装、拾放等工业场景中的落地应用。其标准化的LeRobot格式，也为跨平台算法对比与复现奠定了坚实基础。