KS325/close-lower-drawer-r1_emp

该数据集是一个机器人操作数据集，使用so_follower机器人类型收集。包含20个episodes，共16993帧数据。数据内容包括：机器人关节位置（shoulder_pan、shoulder_lift、elbow_flex、wrist_flex、wrist_roll、gripper）的动作和状态观测；两个摄像头（camera1和camera2）采集的480×640分辨率彩色视频（30fps）；以及时间戳、帧索引、episode索引等元数据。数据以parquet格式存储，总数据量约100MB，视频文件约200MB。

This is a robotic manipulation dataset collected using a so_follower robot type. It contains 20 episodes with a total of 16,993 frames. The dataset includes: robot joint positions (shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper) for both actions and state observations; color videos (30fps) from two cameras (camera1 and camera2) at 480×640 resolution; and metadata such as timestamps, frame indices, and episode indices. The data is stored in parquet format, with approximately 100MB of data files and 200MB of video files.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在记录机器人完成“关闭下层抽屉”这一单一任务的演示数据。数据采集自一台名为so_follower的机器人，通过遥操作或预设轨迹驱动，以30帧每秒的频率同步记录机器人的关节状态与视觉信息。数据集共包含20个演示片段，总帧数达16993帧，原始数据以Parquet格式存储于分块文件中，而视觉观测则编码为AV1格式的视频文件，存储于独立的视频目录中，确保了数据的高效存取与结构化组织。

特点

数据集的核心特点在于其多模态与结构化并重。机器人状态与动作均以6维浮点向量表示，对应肩部、肘部、腕部及夹爪的关节位置，实现了行动与观测空间的高度对称。视觉信息来自两台分辨率为480x640的摄像头，提供了丰富的场景上下文。此外，数据集包含精确的时间戳与帧索引，便于时序建模。所有20个片段均被划分为训练集，并采用分块存储策略（每块1000帧），在保持数据完整性的同时优化了加载效率。

使用方法

用户可利用LeRobot库轻松加载此数据集，通过内置的数据加载器直接读取Parquet与视频文件。数据集遵循LeRobot的标准特征格式，其中'action'与'observation.state'分别作为策略输出与输入，而'observation.images'则为视觉观测提供了两个独立的摄像头视角。推荐的使用方式是将数据用于模仿学习或行为克隆任务的训练与评估，用户可调用可视化工具（如HuggingFace Space中的交互式界面）来预览演示轨迹，从而直观理解任务动态。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为从人类示范中习得复杂技能的关键范式，其性能高度依赖于高质量、结构化的数据集。close-lower-drawer-r1_emp数据集应运而生，由研究团队基于LeRobot框架创建，专注于机器人操作任务中的精细抽屉关闭动作。该数据集包含20个示范片段，总计16993帧图像及对应的机器人关节状态与动作序列，通过双视角摄像头（640×480分辨率）捕获视觉信息，并记录了6自由度机械臂（含夹爪）的完整运动轨迹。其核心研究问题在于如何通过少量但精准的示范数据，使机器人习得闭合下层抽屉这一兼具位置精度与力觉反馈要求的操作技能。尽管该数据集规模有限，但其详尽的多模态标注（动作、状态、图像、时间戳）为后续开发鲁棒的策略学习模型奠定了坚实基础，尤其对推动少样本模仿学习在精细工业与家务场景中的应用具有示范意义。

当前挑战

该数据集所应对的核心挑战在于机器人精细操作中动作精度与泛化能力的平衡。关闭下层抽屉这一任务要求机械臂在低矮空间内协调关节运动，并应对抽屉轨道摩擦、铰链阻力等不确定性物理因素，这对基于视觉与状态特征的模仿学习模型提出了极高要求——必须从不足两万帧数据中提取稳定策略，避免过拟合。构建过程中亦面临多重困难：通过人类遥操作收集20个高质量示范需严格保证运动一致性，但不同演示之间存在轨迹自然变异，增加了数据对齐难度；双摄像头视角虽有助缓解遮挡，但低角度拍摄易引发视觉形变与深度模糊；此外，针对单一任务设计的6维动作空间（含夹爪开合）如何通过LeRobot标准化格式高效编码，并在parquet与视频文件中保持时空同步，均是工程实现中的显著障碍。

常用场景

经典使用场景

在机器人学习与具身智能的研究浪潮中，精细操作任务始终是衡量算法能力的重要试金石。close-lower-drawer-r1_emp数据集专注于机器人闭合下层抽屉这一具体且典型的操作行为，为模仿学习与强化学习提供了标准化的训练与评估基准。该数据集包含20个完整演示回合，共采集近17000帧高保真数据，涵盖六自由度关节状态与双视角视觉观测，支持基于行为克隆、逆强化学习或端到端策略的模型训练。研究者在LeRobot框架下可轻松调用该数据集，进行策略泛化性与鲁棒性的系统性测试。

衍生相关工作

该数据集已在LeRobot社区衍生出一系列影响深远的研究工作。基于其标准化接口，研究者开发了适用于精细操作训练的数据增强管道，显著提升了策略在低样本条件下的泛化性能。此外，该数据集被广泛用于验证多任务学习框架中任务表征解耦的有效性，并催生出融合触觉反馈与视觉输入的跨模态操作策略。在闭环控制领域，有工作利用该数据集对比了扩散策略与基于Transformer的序列建模在动态环境下的稳定性，为后续机器人物理交互研究奠定了实验基础。

数据集最近研究

最新研究方向

在机器人操作领域，精细化的交互任务如抽屉开合仍是模仿学习与强化学习落地的关键挑战。该数据集聚焦于“关闭下层抽屉”这一具体动作，通过so_follower机械臂在20个示范片段中采集近17000帧的高频（30FPS）多模态数据，包含6维关节空间动作与状态信息，以及双视角高清视频观测。其前沿研究方向主要围绕基于LeRobot框架的视觉-运动策略泛化能力，尤其关注在有限示范下如何利用时序信息与多模态融合提升机器人对日常任务的零样本或少样本适应。结合当前具身智能的热点，该数据集为研究从人类演示中提取闭环控制策略、实现可变环境下精准抽屉操作提供了标准化基准，对推动服务型机器人在家庭场景中的实用性具有重要学术与产业意义。