HyeonseokE/teleop_pnp_80epi

该数据集是一个用于机器人学领域的数据集，专门针对so_follower类型的机器人。它包含80个完整的情节（episodes），总计28,456帧数据，所有数据均用于训练（划分比例为0:80）。数据以Parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集的特征包括：动作（action）和观察状态（observation.state），均为6维浮点数组，表示机器人的关节位置（如肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部滚动和夹爪位置）。观察部分还包括两个摄像头视角的图像数据：左腕摄像头（observation.images.left_wrist）和顶部摄像头（observation.images.top），均为480x640分辨率、3通道的RGB视频，帧率为30fps，使用AV1编解码器。此外，数据集还包含时间戳（timestamp）、帧索引（frame_index）、情节索引（episode_index）、索引（index）和任务索引（task_index）等元数据。数据集基于LeRobot平台创建，适用于机器人控制和学习任务。This dataset is designed for the robotics domain, specifically for the so_follower robot type. It comprises 80 complete episodes, totaling 28,456 frames, all allocated for training (split ratio 0:80). The data is stored in Parquet format, with a total data file size of 100MB and video file size of 200MB. Key features include: action and observation.state, both as 6-dimensional float32 arrays representing robot joint positions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions). Observations also include image data from two camera perspectives: left wrist camera (observation.images.left_wrist) and top camera (observation.images.top), both as RGB videos with 480x640 resolution, 3 channels, 30fps frame rate, using the AV1 codec. Additionally, the dataset contains metadata such as timestamp, frame_index, episode_index, index, and task_index. Created using the LeRobot platform, it is suitable for robot control and learning tasks.

搜集汇总

数据集介绍

构建方式

teleop_pnp_80epi数据集是基于LeRobot框架构建的机器人遥操作数据集。该数据集由80个完整回放片段组成，共计28456帧数据，帧率为30 FPS。数据通过遥操作方式采集，使用so_follower型机器人执行单一项任务。所有数据按照统一格式存储，其中结构化数据以Parquet格式保存于data目录下的分块文件中，而视觉观测数据则以AV1编码的MP4视频形式存储于videos目录，视频分辨率为640x480，涵盖左腕与顶部两个视角。

特点

该数据集的显著特点在于其完备的多模态数据构成与标准化的结构设计。每个回放片段同步记录了六维关节角度（包括肩部、肘部、腕部及夹爪位置）作为动作指令与状态观测，同时提供双视角视觉信息。数据元特征包含时间戳、帧索引、回放片段索引与任务索引，便于后续检索与处理。数据集整体以训练集形式呈现，总计约100MB的结构化数据和200MB的视频文件，适合用于机器人模仿学习与行为克隆模型的训练与验证。

使用方法

使用者可通过HuggingFace提供的LeRobot库直接加载该数据集。在Python环境中安装LeRobot后，调用相关接口即可自动下载并解析Parquet数据与视频文件，获得结构化的动作、状态及图像观测。数据集遵循Apache-2.0许可证，支持自由使用与分发。开发者可基于其标准的特征结构，快速构建机器人的动作预测与视觉运动策略模型，数据进行训练/验证划分时可直接使用预设的80个完整回放片段作为训练样本。

背景与挑战

背景概述

在机器人学习领域，遥操作演示数据集是训练模仿学习与强化学习模型的关键基础资源。teleop_pnp_80epi数据集由HyeonseokE等人创建，基于LeRobot框架收集，于近期公开发布。该数据集聚焦于机器人拾取与放置（pick and place）这一基础操作任务，采用so_follower型机器人平台，通过人类遥操作方式采集了80个完整回合（episode），共计28,456帧时序数据，并同步记录了6维关节动作指令、6维状态信息及两只摄像头（左腕相机与顶视相机）的640×480分辨率视频流。该数据集为研究机器人从人类示范中学习精细操作技能提供了标准化样本，对推动具身智能中视觉-运动耦合建模的发展具有重要参考价值。

当前挑战

该数据集面临的挑战主要体现在两个方面。在领域问题层面，拾取与放置任务要求机器人准确理解物体位姿、抓取策略与放置约束，而现有模型在面对光照变化、物体形状多样性及动态环境时泛化能力仍显不足，亟需高质量多模态数据支撑。在数据集构建层面，仅80个回合的采样规模相对有限，且动作与状态空间约束于单一任务类型，难以覆盖真实场景中丰富的操作变体；此外，遥操作过程中的人机延迟、相机视角遮挡以及关节角度噪声等问题，也为数据一致性标注与有效对齐带来了技术困难。

常用场景

经典使用场景

在机器人学习与模仿学习的交汇点上，teleop_pnp_80epi数据集作为一项精心构建的遥操作演示资源，其经典使用场景聚焦于从人类示教中学习精细化的拾取与放置（Pick-and-Place）操作。该数据集包含80个完整演示片段，记录了六自由度机械臂在肩部、肘部、腕部及夹爪等关节的动作轨迹，并同步采集了顶部与左腕两个视角的高清视频流。研究者常利用这些多模态观测数据——包括关节状态与视觉图像——训练基于行为克隆或隐式策略的机器人控制模型，使机器人能够复现人类遥操作员所演示的物体抓取与转移任务，为后续泛化到未知物体与布局奠定了数据基础。

实际应用

在工业与服务业机器人部署的现实需求驱动下，该数据集的应用场景展现了从实验室仿真走向真实产线的潜力。通过训练模型在复杂背景与光照条件下执行稳定的拾放任务，实现了非结构化环境中的柔性生产辅助，例如电子元器件的装配、实验室样品的搬运以及仓储场景中的物品分拣。此外，数据集中定义的夹爪控制与腕部姿态动作，可直接适配于协作机器人的人机共融场景，使机器人能够通过观察人类操作员的遥操作演示快速习得新任务，显著降低了传统编程方式的部署成本与迭代周期。

衍生相关工作

围绕teleop_pnp_80epi数据集，衍生出了一系列具有代表性的研究工作。在算法层面，研究者基于该数据集提出了结合时空注意力的扩散策略模型，显著提升了多模态观测下的动作预测精度；在表示学习方面，利用其提供的同步视频流探索了视觉编码器的预训练范式，使得机器人能够从少量演示中提取可迁移的视觉特征。同时，该数据集也成为LeRobot生态系统中验证数据高效模仿学习框架的关键基准，催生了对异构示范数据融合、动作空间离散化以及安全约束策略优化等方向的深入探讨，为构建通用机器人操作智能体提供了坚实的实证土壤。