KS325/place-upper-r2-occ-val

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/place-upper-r2-val"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 8, "total_frames": 5996, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:8" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.camera1": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera2": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics dataset created using LeRobot, designed for robotics tasks. It involves a robot type named so_follower, with a total of 8 episodes and 5996 frames, and video files recorded at 30 fps. The dataset structure includes action features (such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation state (same joint positions as action features), image observations from two cameras (camera1 and camera2, with 480x640 resolution and 3-channel color videos), as well as metadata like timestamp, frame index, episode index, index, and task index. Data is stored in parquet format, videos in MP4 format, with total data file size of 100MB and video file size of 200MB. The dataset is suitable for research and development in robotics control, reinforcement learning, or computer vision tasks.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，以SO-Follower机械臂为采集平台，通过遥操作方式执行单一任务，共采集8个回合、5996帧数据，采样频率为30Hz。数据以Parquet列式存储格式组织，按chunk分块管理，每块上限1000个文件，单文件体积不超过100MB；同步录制的视频以AV1编码保存为MP4文件，分辨率640×480，帧率与数据采集一致，确保动作与视觉观测的时序对齐。

特点

数据集聚焦于桌面级物体放置任务，涵盖机械臂六个自由度的关节位置信息，包括肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转及夹爪开合。每一时刻均提供双路视觉观测，分别由camera1与camera2以第一视角记录操作场景。元信息中完整标注了机器人类型、总帧数、任务数量及分片策略，划分为训练集，结构清晰，便于直接用于模仿学习或视觉-动作策略的离线训练。

使用方法

使用者可通过Hugging Face平台直接加载该数据集，借助LeRobot提供的可视化工具在线浏览回放，或使用Python接口读取Parquet文件中的动作、状态序列及对应视频帧。训练时可将动作作为预测目标，观测状态与双路图像作为输入特征，构建端到端的策略网络。数据按训练集划分，支持直接调用标准数据加载器进行批次采样，亦可结合LeRobot的预处理流水线完成图像增强与序列对齐，适配模仿学习、行为克隆等典型机器人学习范式。

背景与挑战

背景概述

在具身智能与机器人学习迅猛发展的背景下，高质量、标准化的机器人操作数据集成为推动算法进步的关键基础设施。place-upper-r2-occ-val数据集依托LeRobot框架构建，隶属于HuggingFace机器人数据生态，旨在为机械臂抓取与放置任务提供可复现的评估基准。该数据集聚焦于SO系列机械臂的视觉-动作联合建模，通过多视角视觉观测与关节状态记录，支撑模仿学习、强化学习及视觉运动策略研究。其标准化格式与Apache-2.0许可促进了社区共享与算法对比，对机器人操作领域的可重复研究具有积极意义。

当前挑战

该数据集所应对的核心领域问题在于复杂遮挡场景下的机器人精细操作策略学习，要求模型在视觉信息受限条件下准确推断目标位姿并生成稳定动作序列。构建过程中的主要挑战包括：多视角视觉与关节状态的高频同步采集，确保时间戳与帧索引严格对齐；在有限回合内保持任务多样性以缓解过拟合；视频编码与存储格式需兼顾压缩效率与解码保真度；以及标准化元数据设计以兼容LeRobot生态下的多种训练框架。此外，遮挡条件下的标注一致性亦对数据质量构成持续考验。

常用场景

经典使用场景

在机器人学习与模仿学习领域，place-upper-r2-occ-val数据集承载着上肢操作技能习得的典型使命。该数据集由LeRobot框架生成，采集自so_follower机器人，涵盖8个回合、5996帧、30帧每秒的两路视觉观测与六自由度关节动作记录。其最为经典的使用场景在于基于视觉的模仿学习与行为克隆研究，研究者借助该数据集训练策略网络，使机械臂能够在观测到目标位置后自主执行抓取与放置任务，从而验证视觉-动作映射的有效性与泛化能力。

解决学术问题

该数据集直面机器人操作学习中若干长期存在的学术难题，诸如高维视觉输入与低维动作输出之间的语义鸿沟、示范数据有限条件下的策略泛化困境，以及多视角信息融合对动作预测精度的影响机制。通过提供标准化的观测-动作配对、时序戳与回合索引，该数据集为行为克隆、视觉表征学习及端到端策略优化等研究提供了可复现的实验基准，推动了模仿学习算法在真实机器人平台上的可验证性与可比性，对具身智能领域的方法论建设具有实质意义。

衍生相关工作

依托该数据集及LeRobot生态，衍生出一系列围绕模仿学习与机器人操作的研究工作，包括基于扩散策略的轨迹生成、基于Transformer的视觉-动作序列建模以及多任务策略共享表征学习等。这些工作以该数据集为训练或评估基础，探索了不同网络架构与学习范式在上肢操作任务中的表现边界，并进一步催生了数据增强、跨本体迁移与少样本适应等衍生方向，持续拓展着机器人操作学习的研究版图。