KS325/place-lower-r2-occ-val

该数据集是一个机器人学领域的数据集，专门用于机器人控制任务，使用LeRobot工具创建。数据集包含8个完整的任务片段（episodes），总计5958帧数据，以parquet格式存储，同时包含对应的视频文件（mp4格式）。数据采集自一个so_follower类型的机器人，特征包括：动作数据（6个关节位置：肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）、观测状态（与动作相同的6个关节位置）、两个摄像头（camera1和camera2）的图像观测（分辨率480x640，RGB三通道，30帧/秒），以及时间戳、帧索引、episode索引、任务索引等元数据。数据集采用Apache 2.0许可证，适用于机器人控制、模仿学习等研究。This dataset is a robotics dataset specifically designed for robot control tasks, created using the LeRobot tool. It contains 8 complete episodes, totaling 5958 frames, stored in parquet format along with corresponding video files (mp4 format). The data is collected from a so_follower type robot, with features including: action data (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper position), observation state (the same 6 joint positions as actions), image observations from two cameras (camera1 and camera2) with 480x640 resolution, RGB three channels, 30 fps, and metadata such as timestamp, frame index, episode index, and task index. The dataset is licensed under Apache 2.0 and is suitable for research in robot control, imitation learning, etc.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量演示数据集的构建是训练模仿学习策略的基础。该数据集依托LeRobot框架生成，以SO follower机械臂为平台，通过遥操作或预设程序控制机械臂执行单一放置任务，并同步采集多模态信息。原始数据以30帧每秒的频率记录，包含8个完整回合，总计5958帧，涵盖动作指令、关节状态、双路视觉观测及时间戳等字段。数据经分块存储为Parquet文件与AV1编码视频，按照元数据规范组织，形成结构化的机器人操作数据集。

特点

该数据集呈现出鲜明的多模态与时间序列特性。动作与状态向量均采用六自由度表示，精确刻画肩部旋转、升降、肘部弯曲、腕部俯仰与旋转以及夹爪开合等关节位置。视觉信息由两路分辨率为480×640的摄像机提供，以30 fps速率捕捉操作场景，且不含音频。数据集仅包含一个放置任务，回合数较少，适合验证算法在有限演示下的泛化能力。数据以chunk和file两级索引组织，便于高效读取与流式处理。

使用方法

使用该数据集时，可借助LeRobot库加载Parquet数据文件与对应视频，解析元数据中的特征定义，将动作、状态和图像按时间对齐。通过Hugging Face Spaces提供的可视化工具，能够直观检查每个回合的轨迹与视觉内容。在训练模仿学习或强化学习模型时，可将观测状态与图像作为输入，动作作为监督信号，利用时间戳或帧索引构建序列样本。数据划分标记为训练集，涵盖全部8个回合，适用于模型验证与基准测试。

背景与挑战

背景概述

伴随具身智能与机器人学习领域的蓬勃发展，高质量真实世界操作数据集成为推动策略泛化与算法验证的关键基础设施。place-lower-r2-occ-val数据集由LeRobot框架构建，于2024年前后发布，针对SO-100系列低成本协作机械臂，采集了8个回合、5958帧、30fps的多视角操作演示，涵盖六自由度关节位置与夹爪状态，任务聚焦于将物体放置至较低位置。该数据集为视觉-语言-动作模型及模仿学习研究提供了标准化的验证基准，尤其在遮挡场景下的操作评估中具有参考价值，其开源特性亦促进了社区可复现研究。

当前挑战

该数据集所对应的领域问题为遮挡条件下的机器人精细放置操作，要求策略在视觉信息部分缺失时仍能准确估计目标位姿并生成稳定动作。构建过程中的核心挑战包括：多视角同步采集与标定、遮挡导致的视觉特征退化、真实机器人执行中的噪声与延迟、以及有限演示回合下的泛化能力保障。此外，如何确保动作空间与观测空间在LeRobot格式下的语义一致性，并维持小样本条件下的评估可靠性，亦是该数据集面临的关键难题。

常用场景

经典使用场景

在机器人学习与具身智能领域，基于示教数据的模仿学习已成为获取复杂操作技能的主流范式。place-lower-r2-occ-val数据集依托LeRobot框架构建，其最经典的使用场景在于训练和验证机械臂的物体放置技能。该数据集包含8个回合共5958帧、30帧每秒的演示数据，机器人类型为so_follower，配备双路视觉观测，能够为视觉-动作策略提供同步的多模态输入。研究者通常将其用于条件模仿学习或行为克隆模型的训练与离线验证，以评估策略在放置任务中的泛化表现。

解决学术问题

在机器人操作研究中，真实世界演示数据的稀缺长期制约着策略学习的可复现性与公平比较。该数据集通过提供标准化、结构化的放置任务演示，缓解了学术研究中数据获取困难与实验基准缺失的问题。其明确的动作空间与状态维度定义，使研究者能够聚焦于算法设计而非数据预处理，并支持对视觉编码、时序建模等关键环节的消融分析。作为验证集划分，它还为模型选择与超参数调优提供了可靠的评估依据，推动了机器人学习研究的规范化进程。

衍生相关工作

作为LeRobot数据集体系中的一员，place-lower-r2-occ-val与同系列其他任务数据集共同构成了机器人操作技能的学习资源库。围绕该数据集，研究者可开展行为克隆、扩散策略、视觉-语言-动作模型等多类方法的对比实验，并推动数据增强、跨任务迁移与仿真到现实迁移等衍生研究。其标准化的元信息结构也为数据集融合与多任务学习提供了便利，促进了开源机器人学习社区的协作与积累。