CoRL2026-CSI/teleop_open_lid_ws1

该数据集是使用LeRobot创建的机器人领域数据集，包含21个训练集和2304帧数据。数据集采用parquet格式存储，视频文件为mp4格式。特征包括6维浮点动作和状态观测（如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置），以及两个摄像头（左腕和顶部）的图像观测，分辨率为480x640，帧率为10fps。此外，还包含时间戳、帧索引、集索引、索引和任务索引等元数据。机器人类型为so_follower，任务数量为1，数据总大小为100MB，视频总大小为200MB。This dataset was created using LeRobot and belongs to the robotics domain. It contains 21 training episodes and 2304 frames. The data is stored in parquet format, with video files in mp4 format. Features include 6-dimensional float actions and state observations (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper positions), as well as image observations from two cameras (left wrist and top) with a resolution of 480x640 and a frame rate of 10fps. Additionally, metadata such as timestamp, frame index, episode index, index, and task index are included. The robot type is so_follower, with one task. The total data size is 100MB, and the total video size is 200MB.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的示教数据是驱动智能体掌握精细操作技能的关键基石。该数据集借助LeRobot框架构建，通过遥操作方式采集so_follower型机械臂在执行开盖任务时的状态与动作序列。数据以分块形式存储于Parquet文件中，并配套高帧率视频记录，每段轨迹包含控制指令、关节状态及多视角视觉信息，形成结构化且可复现的示教样本。

特点

该数据集涵盖21个完整示教回合，总计2304帧时序数据，采样频率为10 FPS，兼具运动连续性与采集效率。特征空间包含6维关节角度动作、对应状态观测以及左腕与顶部双视角640x480分辨率视频流，为模仿学习与行为克隆提供了丰富的模态融合基础。数据严格按独立轨迹组织，chunks_size设置为1000，便于批量加载与分布式训练。

使用方法

数据集采用Apache-2.0许可证，支持通过LeRobot的DataLoader直接读取，用户可依据meta/info.json中的分片索引灵活加载训练集。通常将动作与状态序列作为输入，结合双视角图像经由统一特征格式进行模型训练。推荐利用LeRobot内置的可视化工具在Hugging Face Spaces上预览轨迹，以辅助数据质量评估与算法调试。

背景与挑战

背景概述

在机器人操作领域中，模仿学习已成为一种关键范式，它使机器人能够通过观察专家演示来习得复杂技能。这一方法有助于规避传统编程和强化学习在精细操作任务中的固有困难，尤其是在非结构化环境中。在此背景下，由CoRL2026-CSI团队于近期创建的teleop_open_lid_ws1数据集应运而生，旨在推动机器人遥操作开盖任务的研究。该数据集依托LeRobot框架构建，采用so_follower机器人平台，以10帧每秒的速率采集了21个演示回合、共计2304帧的高保真观测数据，包含腕部与顶部双视角视觉流以及六自由度关节状态信息。作为针对单一任务（开盖）的专项数据资源，它在机器人技能迁移与泛化研究中扮演着基石角色，为后续算法的验证与比较提供了标准化评价基准。

当前挑战

该数据集所聚焦的开盖任务构成了一个典型的细粒度操作挑战：操作对象（如盖子）的几何形状、摩擦特性和初始姿态多变，要求机器人具备精准的力位混合控制能力，而单纯依靠位置指令难以鲁棒实现。从数据构建层面，遥操作过程需克服人机映射中的延迟与精度折损问题，确保演示动作与真实意图高度一致。此外，数据集仅包含21个回合，样本规模有限，这对下游模仿学习算法的泛化性提出了严峻考验——模型必须在稀缺数据中提取出开盖动作的核心动力学特征，并避免对特定罐体或初始位姿的过拟合。缺乏多任务混合与场景多样化也限制了模型在面对未知扰动时的适应能力。

常用场景

经典使用场景

在机器人学习与操控领域，teleop_open_lid_ws1数据集为模仿学习与策略迁移提供了宝贵的基准资源。该数据集通过遥操作方式采集了SO Follower机械臂在执行打开盖子任务时的完整轨迹，包含21个示范回合，总计2304帧时序数据，涵盖了肩部、肘部、腕部及夹爪等关键关节的位姿信息。其经典使用场景聚焦于从多视角视觉观测（包括腕部相机与顶部相机）与本体状态序列中学习精细操作策略，尤适用于需要高精度接触与力控制的开放式操作任务，如拧开瓶盖或揭开容器，为机器人灵巧操纵研究奠定了坚实的数据基础。

衍生相关工作

该数据集催生了多项经典衍生成果。基于其示范轨迹，研究者提出了多模态融合的注意力神经网络架构，用于解耦视觉与本体感知的时序关联。结合逆动力学模型，衍生工作探索了利用残差学习修正遥操作误差的方法，发表了关于夹爪力矩自适应估计的论文。此外，该数据被用于验证对比学习框架在操作技能提取中的有效性，相关研究拓展至跨任务知识蒸馏与少样本适应，其元数据结构（包含chunks与splits）为后续大规模机器人数据集构建范式与标准化评估流程提供了参考模板。

数据集最近研究

最新研究方向

在具身智能与模仿学习的前沿探索中，teleop_open_lid_ws1数据集专注于双臂操作任务，通过so_follower机器人采集包含6自由度关节状态与双视角视觉信息的遥操作数据。其精细化的运动学特征与高帧率视觉流为研究从人类演示中学习复杂操纵策略提供了重要基准。结合LeRobot开源框架与Apache-2.0许可，该数据集显著降低了机器人学习领域的数据获取门槛，推动了基于视觉-动作联合建模的现实世界泛化能力研究，尤其为开盖、装配等精细操作任务的算法验证与跨场景迁移奠定了数据基础。