KS325/open-upper-drawer-r1_occ

该数据集由LeRobot创建，属于机器人领域。数据集包含20个episodes，17312帧，1个任务。数据文件格式为parquet，视频文件格式为mp4。特征包括动作（6个关节位置）、观测状态（6个关节位置）、两个摄像头的图像（480x640x3）、时间戳、帧索引、episode索引等。数据集的fps为30，总数据文件大小为100MB，视频文件大小为200MB。

This dataset was created by LeRobot and belongs to the robotics domain. It contains 20 episodes, 17312 frames, and 1 task. The data files are in parquet format, and the video files are in mp4 format. Features include actions (6 joint positions), observation states (6 joint positions), images from two cameras (480x640x3), timestamps, frame indices, episode indices, etc. The dataset has an fps of 30, with a total data file size of 100MB and a video file size of 200MB.

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量演示数据集是技能学习的关键基石。该数据集基于LeRobot框架构建，专注于“打开上层抽屉”这一精细操作任务。数据采集依托so_follower机器人平台，通过遥操作方式执行单一任务，共收录20个演示回合，累计17312帧时间序列数据。每条轨迹均以30帧/秒的采样率同步记录6维关节动作指令与状态观测，并整合两台不同视角的RGB摄像头（分辨率480×640）采集的视频流。数据采用Parquet格式存储，并按1000帧为单元进行分块组织，便于高效加载与分布式处理。

特点

数据集的显著特色在于其高度结构化与多模态融合的设计范式。动作空间与状态空间均精细定义为6维连续量，覆盖机器人从肩部至夹爪的完整运动链。双摄像头视觉模态引入空间冗余性，为后续算法研究提供了多视角融合的可能性。数据严格划分为训练集（20个回合全部纳入）且无测试集划分，适应于模仿学习场景中的行为克隆范式。视频流采用AV1编码压缩，在保持视觉保真度的同时有效降低存储开销，数据集总大小约300MB，兼顾了数据丰富度与可移植性。

使用方法

本数据集适配于基于行为克隆或隐式策略的机器人技能学习方法。用户可借助LeRobot库的Dataset类直接加载Parquet文件与关联视频，通过索引接口访问单一时间步的动作、状态与图像观测。建议以回合为单位进行序列建模，利用时序一致性训练循环神经网络或扩散策略模型。双摄像头数据可作为多模态输入分支，分别编码后融合决策。训练时可将6维关节位姿作为回归目标，配合均方误差损失函数优化策略网络。由于数据集规模适中，适合在单GPU环境下快速迭代模型原型。

背景与挑战

背景概述

机器人操作任务的自动化执行是推动智能机器人迈向通用服务场景的关键技术之一，而精细化的开柜动作作为家庭与工业环境中常见的基础操作，其成功实施依赖于高精度的感知与操控能力。open-upper-drawer-r1_occ数据集由KS325团队基于LeRobot框架构建，于2024年左右发布，旨在为机器人学习提供高质量的遥操作演示数据。该数据集聚焦于“打开上层抽屉”这一单一任务，共包含20个演示片段，总帧数达17312帧，以30帧每秒的频率从两个视角同步采集视觉与关节状态信息。通过Apache-2.0许可协议开放共享，该数据集为验证模仿学习与强化学习算法在精细操作上的泛化能力提供了基准，推动了机器人领域从实验室控制环境向真实家庭场景的迁移研究。

当前挑战

该数据集所解决的领域问题在于精细操作任务的姿态控制与视觉闭环挑战：机器人需在有限观察下准确识别抽屉把手位置并根据反馈调整力位，而多个自由度（如肩部、肘部、腕部）的协同控制要求算法具备低延迟的决策响应能力。构建过程中，挑战主要源于数据采集的精确性与效率平衡——仅依靠20个高质量演示难以覆盖抽屉阻尼变化、视觉遮挡等泛化场景；同时，视频与状态数据（包括两个摄像头视角及6维关节/夹爪信息）的同步对齐、压缩存储（如AV1编码）及后续的清洗标注也需耗费大量工程资源，以确保在100MB数据与200MB视频中维护训练所需的时序一致性。

常用场景

经典使用场景

在机器人学习与操控领域，开抽屉操作是评估精细动作控制能力的经典任务之一。该数据集聚焦于机器人从高处打开上层抽屉这一具体作业场景，记录了大量包含6自由度关节角度、末端夹爪状态及双视角视觉观测的示范轨迹。研究者可依托其中20个完整演示回合与逾17000帧数据，构建端到端的模仿学习模型，通过行为克隆或逆强化学习方法，提取并复现包括肩部俯仰、肘部屈伸、腕部旋转及夹爪开合在内的连续动作序列。

实际应用

在实际工业与家庭服务场景中，该数据集所支撑的开放抽屉技能可广泛应用于智能仓储的货架存取、厨房辅助机器人的橱柜操作以及医疗运输机器人对医用抽屉的自动开启。利用基于视觉与关节力矩联合学习的策略，机器人能够在非结构化环境中自适应地调整施力方向与抓取姿态，避免因抽屉卡滞或载荷不均导致的执行失败。此外，将训练后的模型迁移至相似构型的夹具上，有望降低部署成本，加速服务机器人在日常整理、回收分类等重复性劳动中的普及。

衍生相关工作

在此数据集的驱动下，衍生出一系列聚焦于精细化接触操控策略的研究工作。例如，基于对比表示学习的预训练方法利用双视角图像与本体感知的高维嵌入，提升了策略在视点变化下的泛化能力；同时，引入扩散策略的动作生成模型利用该数据集训练出具备多峰轨迹预测能力的操控网络，显著增强了模型在任务不确定性条件下的适应力。此外，该数据集还被用于验证基于模型预测控制与模仿学习相结合的混合框架，为构建具备物理常识的机器人自主学习系统奠定了数据基础。