KS325/place-lower-r2-occ-train

该数据集使用LeRobot创建，是一个机器人学数据集，专门针对so_follower机器人类型。数据集包含28个训练集，总帧数为20449，帧率为30 fps。数据以parquet格式存储，总数据文件大小为100 MB，视频文件大小为200 MB。数据集特征包括：动作（action），包含6个浮点型关节位置（如肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕滚动和夹爪位置）；观测状态（observation.state），包含相同的6个关节位置；观测图像（observation.images.camera1和camera2），为视频格式，分辨率为480x640，3通道，使用AV1编解码器；以及其他元数据如时间戳、帧索引、集索引等。数据集用于机器人任务，但具体任务未明确说明。This dataset was created using LeRobot and is a robotics dataset specifically for the so_follower robot type. It contains 28 training episodes with a total of 20449 frames at 30 fps. The data is stored in parquet format, with a total data file size of 100 MB and video file size of 200 MB. The dataset features include: action, comprising 6 float32 joint positions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions); observation state, with the same 6 joint positions; observation images (camera1 and camera2), in video format with a resolution of 480x640, 3 channels, using AV1 codec; and other metadata such as timestamp, frame index, episode index, etc. The dataset is intended for robotics tasks, though the specific task is not explicitly stated.

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，高质量演示数据的采集与组织是实现策略泛化的基石。该数据集依托LeRobot框架构建，采用so_follower机械臂执行单一放置任务，共计采集28个回合、20449帧，以30帧/秒的固定频率同步记录六维关节位置、夹爪状态以及两路480×640分辨率的视频流。数据以Parquet列式存储与AV1编码视频分块保存，并按训练集划分，形成结构化的多模态时序样本，为模仿学习与视觉运动策略研究提供了标准化的数据基础。

特点

该数据集以多模态同步观测为核心特征，涵盖动作指令、本体状态与双视角视觉信息，时间对齐精度高且帧率稳定。28个回合的规模在保持任务多样性的同时，避免了冗余，六维动作空间直接对应机械臂的关节控制，便于端到端策略学习。视频采用高效AV1编码，在保证视觉质量的前提下控制了存储开销，且数据集遵循Apache-2.0许可，支持学术与商业场景下的自由使用与二次开发。

使用方法

研究者可通过LeRobot官方工具链加载该数据集，利用提供的可视化空间在线预览任务执行过程，或直接解析Parquet与视频文件进行离线训练。数据字段清晰区分动作、状态、图像及索引信息，用户可便捷地构建时序批处理管道，用于行为克隆、视觉表征学习或强化学习环境建模。训练时可依据元数据中的分块路径高效读取，并借助帧索引与回合索引实现精确的序列采样与评估划分。

背景与挑战

背景概述

机器人操作技能的习得长期依赖真实世界交互数据，而高质量、可复现的示范数据集是推动该领域发展的关键基础设施。place-lower-r2-occ-train数据集依托LeRobot框架构建，专注于机械臂在遮挡场景下的放置与下压任务，采用so_follower机器人本体，以30帧每秒的频率采集了28个示范回合、共计20449帧的多视角视觉与关节状态数据。该数据集通过双摄像头同步记录操作过程，为视觉-动作映射、遮挡鲁棒性及精细操作策略研究提供了结构化的真实世界示范资源，对推进机器人模仿学习与灵巧操作具有基础性支撑意义。

当前挑战

该数据集所面对的领域问题在于，机器人需在视觉遮挡条件下完成精确的放置与下压操作，这对感知系统在部分可观测环境中的空间推理与动作规划能力提出了严峻考验。构建过程中，操作任务本身涉及末端执行器与目标物体间的精细接触力控制，加之遮挡导致的视觉信息缺失，使得示范数据的一致性与可学习性面临挑战。同时，28个回合的样本规模在遮挡场景下的多样性覆盖有限，可能制约模型在复杂遮挡模式下的泛化能力，如何从有限示范中提取鲁棒的遮挡不变特征成为亟待解决的关键难题。

常用场景

经典使用场景

在机器人学习与具身智能的浪潮中，基于视觉的精细操作任务始终是检验算法鲁棒性的试金石。place-lower-r2-occ-train数据集依托LeRobot框架构建，其最经典的使用场景在于训练机器人执行“低位放置”这一具有空间约束的抓取-放置任务。科研人员通常将多视角视觉观测与本体感知状态作为输入，驱动模仿学习或强化学习策略，使机械臂在遮挡或狭窄空间内完成精准的下放动作。该数据集提供的28条专家演示轨迹与同步的关节位置、夹爪状态及双路视频流，为端到端策略学习提供了标准化的监督信号，尤其适合评估视觉-动作映射在接触密集型操作中的泛化能力。

解决学术问题

该数据集直面机器人操作研究中长期存在的“视觉遮挡与精准放置”难题。在现实环境中，目标区域常被机械臂自身或外部物体部分遮挡，导致基于单视角的模仿学习策略出现显著偏差。place-lower-r2-occ-train通过提供双路摄像头视角（camera1与camera2）及完整的状态-动作序列，使研究者能够探究多视角融合、时空注意力机制以及遮挡感知表征学习等前沿课题。其意义在于为社区建立了一个可复现的基准，用以衡量算法在受限视野下的操作成功率，进而推动鲁棒模仿学习与三维场景理解的理论发展。

衍生相关工作

基于place-lower-r2-occ-train数据集，研究者已衍生出一系列围绕遮挡感知与精细操作的工作。部分研究利用其双视角数据开展多模态Transformer策略学习，探索视觉token与动作token的跨模态对齐；亦有工作以此为基础，引入扩散策略或动作分块Transformer，提升长时序任务的稳定性。在LeRobot生态中，该数据集常被用于验证新型模仿学习算法的基线性能，并与其他放置任务数据集进行联合训练，以增强策略的泛化性。这些衍生工作不仅丰富了机器人操作的学习范式，也为后续数据集构建提供了任务设计、数据采集与评估协议方面的参考。