KS325/place-upper-r2-emp-test

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/place-upper-r2-emp-test"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 4, "total_frames": 2997, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:4" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.camera1": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera2": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset was created using LeRobot for robotics tasks, specifically involving the so_follower robot. It contains 4 episodes with a total of 2997 frames, recorded at 30 fps. The data is stored in parquet format, and videos are in mp4 format. Features include: action (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position), observation state (same 6 joint positions as action), two camera images (camera1 and camera2, both with 480x640 resolution, 3 channels, video codec av1), and metadata such as timestamp, frame index, episode index, and task index. The dataset is designed for training and evaluating robot control algorithms, providing synchronized data on robot actions and visual observations.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，LeRobot作为面向机器人学习领域的开源工具链，为数据采集与标准化提供了统一范式。构建过程以so_follower机械臂为物理平台，围绕单一抓取放置任务，在30帧每秒的采样频率下遥操作采集了4个完整回合，累计2997帧。所有数据经由LeRobot自动整理为分块存储的Parquet格式，并按训练集划分，同时将双路摄像头视频流编码为AV1格式，形成结构化的多模态机器人操作数据集。

特点

数据集呈现出高维度、多模态与紧凑性的特征。动作与状态空间均为六自由度，涵盖肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部翻滚及夹爪开合，精确刻画了机械臂的运动学状态。双路摄像头以480×640分辨率、30帧每秒同步记录视觉信息，为策略学习提供丰富感知输入。数据规模适中，共4个回合、2997帧，仅包含一个任务，适合快速验证算法原型，且以Apache-2.0许可开放，便于学术与工业界复用。

使用方法

使用该数据集时，可借助HuggingFace平台提供的可视化工具直接浏览回放，直观审视机械臂动作与视觉序列的对应关系。在LeRobot代码库中，通过指定数据集路径即可加载Parquet格式的轨迹数据与关联视频，进而用于模仿学习、行为克隆或强化学习的训练与评估。数据字段清晰区分观测状态、动作指令、时间戳与帧索引，研究者可据此构建策略网络，或对状态-动作序列进行统计分析，以探究抓取放置任务中的运动模式与控制规律。

背景与挑战

背景概述

伴随具身智能与机器人学习领域的蓬勃发展，高质量的真实机器人操作数据集成为推动策略泛化与算法迭代的关键基础设施。place-upper-r2-emp-test数据集依托LeRobot框架构建，采用so_follower机器人平台，以30帧每秒的采样频率采集了4个回合共2997帧的示范数据，涵盖六自由度关节位置与双路视觉观测，聚焦于物体放置这一基础操作任务。该数据集为研究者提供了标准化的机器人操作轨迹，可用于模仿学习与视觉运动策略的训练与评测，其结构化元信息与视频编码格式亦为社区数据规范的统一提供了实践参考。

当前挑战

该数据集所面向的物体放置任务，本质上要求机器人理解空间关系并在连续动作空间中实现精准的末端执行器控制，同时应对视觉观测中的遮挡与光照变化，这对策略的鲁棒性和泛化能力构成显著考验。在构建层面，受限于仅4个回合、单一任务与单一机器人本体的采集规模，数据多样性不足，难以支撑跨场景与跨对象的泛化评测；真实机器人遥操作过程中的时序对齐、动作平滑性与演示一致性亦需严格把控，而双路视觉与高频状态信号的同步存储进一步增加了数据处理的复杂性与质量控制难度。

常用场景

经典使用场景

在机器人学习领域，基于视觉的模仿学习与操作策略训练长期依赖高质量的演示数据。该数据集依托LeRobot框架构建，采集自so_follower机械臂在单一抓取放置任务中的多模态时序数据，涵盖六自由度关节位置、双路RGB视频流及时间戳等特征，经典使用场景为训练端到端的视觉-动作映射模型，使机械臂能够在给定初始状态下复现抓取与放置动作。

解决学术问题

机器人操作研究中，演示数据的稀缺与异构性长期制约着策略泛化能力的提升。该数据集以标准化Parquet与视频格式提供关节状态、动作指令与视觉观测的同步记录，解决了小样本条件下模仿学习算法验证困难、多模态对齐评估缺乏基准等问题，为研究视觉表征学习、动作序列建模及闭环控制策略提供了可复现的实验基础。

衍生相关工作

围绕该数据集，已有工作基于LeRobot生态开展模仿学习基线复现与改进，如行为克隆、ACT及扩散策略等算法在其上的验证与调参。相关衍生研究进一步探索多视角视觉融合、关节空间与任务空间动作表示对比，以及小样本演示下的数据增强策略，推动了开源机器人学习工具链与标准化评测流程的发展。