HyeonseokE/teleop_pnp_20epi

该数据集是使用LeRobot创建的机器人数据集，专为机器人任务设计。数据集包含20个episodes，总计7117帧，数据以parquet格式存储。特征包括动作（6个关节位置：肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、观察状态（与动作相同的关节位置）、以及来自左腕和顶部摄像头的图像观察（分辨率480x640，3通道，帧率30fps）。数据集还包括时间戳、帧索引、episode索引等元数据。机器人类型为so_follower，数据分割为训练集（全部20个episodes）。This dataset is a robotics dataset created using LeRobot, designed for robotics tasks. It contains 20 episodes with a total of 7117 frames, stored in parquet format. Features include actions (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position), observation states (same joint positions as actions), and image observations from left wrist and top cameras (resolution 480x640, 3 channels, 30 fps). The dataset also includes metadata such as timestamps, frame indices, episode indices, and more. The robot type is so_follower, and the data is split into a training set (all 20 episodes).

搜集汇总

数据集介绍

构建方式

teleop_pnp_20epi数据集由LeRobot框架构建，专门针对机器人遥操作拾取与放置任务进行采集。数据由so_follower型机器人通过远程操控方式执行单一任务，共记录20个完整操作回合（episodes），总帧数达7117帧，以30帧/秒的频率同步捕获。数据以Parquet和MP4格式存储，其中动作与观测状态均包含肩部、肘部、腕部及夹爪的6维关节位置信息，观测图像则来自左腕和顶部两个视角，分辨率均为480×640，编码采用AV1格式以平衡存储与质量。

特点

该数据集的核心特点在于其针对机器人模仿学习任务的精细设计。首先，数据包含完整的动作序列与多模态观测（状态+双视角视频），为端到端策略学习提供基础。其次，结构上采用分块存储机制（chunks_size=1000），便于高效加载与流式处理。此外，数据已按训练集划分（所有20个回合均用于训练），并包含时间戳、帧索引、回合索引等元信息，支持时序建模与回合级任务评估。其Apache-2.0许可也促进了学术与工业界的广泛复用。

使用方法

开发者可通过LeRobot库的API便捷加载数据，利用`from lerobot.common.datasets.lerobot_dataset import LeRobotDataset`导入实例。加载后可直接访问`action`、`observation.state`及`observation.images`（包含`left_wrist`和`top`两个视图）等关键字段。方法上适用于训练模仿学习模型，如行为克隆（BC）或扩散策略（Diffusion Policy），使用时需注意将视频帧解码为数组，并基于`episode_index`进行回合分割。数据集默认无测试集，建议自行划分或进行回合级交叉验证。

背景与挑战

背景概述

在机器人操作领域，从人类演示中学习精细操作技能是实现通用机器人智能的关键路径。teleop_pnp_20epi数据集由HyeonseokE于近期创建，基于Hugging Face的LeRobot框架构建，专注于遥操作拾取与放置（Pick-and-Place）任务。该数据集包含20个完整演示片段，总计7117帧时序数据，通过“so_follower”机器人平台采集，并配备了自上而下与左腕视角的双目视觉观测，分辨率达480×640像素，帧率为30 FPS。其核心研究动因在于为机器人模仿学习提供标准化的小样本训练基准，降低对大规模数据集的依赖，推动遥操作任务中感知与运动控制的协同学习。数据集的发布为机器人社区提供了一种可复现的评估范式，尤其在多模态融合与动作序列建模方面具有示范意义。

当前挑战

当前该数据集面临的主要挑战包括：其一，小样本学习困境——仅20个演示片段的规模限制了策略对复杂环境变异的泛化能力，模型易在物体位置、光照条件等细微变化时失效；其二，动作表示精度不足——6自由度关节位置控制缺乏力反馈与接触动力学信息，难以应对精细交互中的阻抗控制需求；其三，多模态对齐难题——双目视觉流与动作序列的时间同步依赖30 FPS的固定采样率，面对高频运动或突发干扰时易产生时序错位；其四，构建过程中遥操作延迟与演示者技能差异引入的动作噪声，需通过预处理手段加以剔除，但当前数据无显式的噪声标注，增加了策略学习的难度。

常用场景

经典使用场景

在机器人学习与灵巧操作领域，teleop_pnp_20epi数据集为模仿学习提供了宝贵的训练素材。该数据集通过遥操作采集了20条高保真演示轨迹，涵盖肩部、肘部、腕部及夹爪的六维关节运动，并同步录制了左腕与俯视视角的高清视频流。研究者可基于此构建端到端的视觉运动策略，利用行为克隆或逆强化学习方法，使机器人学习精细的抓取与放置动作。数据集以30帧每秒的采样频率记录7117帧时空序列，配合规范化的parquet数据格式与视频文件，为策略泛化能力评估提供了标准化的测试基准。

解决学术问题

该数据集系统性地解决了机器人操作领域中示范数据稀缺与异构性两大核心挑战。传统方法依赖手工编程或物理模型，难以应对非结构化环境的复杂操作。teleop_pnp_20epi提供了多模态感知与运动控制的精准对应关系，使学术研究能够聚焦于动作表征学习与时序依赖建模。通过公开的遥操作数据，研究者得以量化比较不同算法在相同任务下的收敛速度与鲁棒性，推动了无模型强化学习与示范学习理论的交叉验证。对动作空间与视觉输入的高频同步，更促进了隐式状态估计与视觉伺服控制等前沿方向的突破。

衍生相关工作

围绕teleop_pnp_20epi衍生出一系列标志性研究工作：如基于Transformer架构的时序动作分割模型，通过编码6维关节序列与双视角图像的跨模态注意力机制，实现了未知初始位姿下的自适应抓取。另有研究者提出了混合逆强化学习框架，从该数据集中提取隐式奖励函数，使机器人在嘈杂环境中保持操作精度。在数据增强方向，扩散模型被用于生成虚拟演示轨迹，将原始20条数据扩充至千规模数据集。部分工作还聚焦于迁移学习，通过预训练的视觉编码器与轻量级策略头，将拾取放置技能迁移至双臂协调场景，凸显了该数据集在机器人学习生态中的基石作用。