KS325/place-lower-r2-emp-test

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/place-lower-r2-emp-test"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 4, "total_frames": 2996, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:4" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.camera1": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera2": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset was created using LeRobot and is designed for robotics tasks. It contains a total of 4 episodes, 2996 frames, and 1 task, with data stored in parquet format. The robot type is so_follower. Features include actions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper positions), observation states (same joint positions as actions), two camera images (camera1 and camera2, with resolution 480x640, 3 channels, 30fps video), and other metadata such as timestamp, frame index, episode index, index, and task index. The data is chunked with a chunk size of 1000 frames, total data file size is 100MB, and video file size is 200MB.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量演示数据集的构建是推动策略泛化与算法验证的基础。place-lower-r2-emp-test数据集依托LeRobot框架完成采集与组织，采用so_follower机器人平台，通过遥操作或程序化控制执行单一任务，累计生成4个回合、2996帧、30帧每秒的时序数据。数据以Parquet列式格式存储于分块目录，视频流则编码为AV1格式的MP4文件，并配套提供包含机器人类型、特征维度、分片策略等元信息的info.json，形成结构规整、可直接加载的标准化数据集。

特点

该数据集呈现出若干鲜明的技术特征。模态层面，其同步记录了六维关节位置动作与状态向量，以及两路分辨率为480×640的RGB视频流，为视觉-动作联合建模提供丰富信号。时序层面，全部数据以30帧每秒的频率对齐，帧索引、时间戳与回合索引等辅助字段保证了序列的可追溯性。规模层面，数据量精炼，仅含4个回合与单一任务，适用于快速验证与原型调试。存储层面，采用分块与分片机制，单文件体积受控，利于流式读取与分布式训练。

使用方法

在使用层面，研究者可借助HuggingFace平台提供的可视化工具直接浏览数据集的视频与轨迹，直观评估任务执行质量。加载时，依照data_path与video_path模板定位Parquet与MP4文件，利用LeRobot或兼容的机器人学习库解析动作、状态及图像特征，构建模仿学习或强化学习流程。基于apache-2.0许可，用户可自由进行训练、微调与二次分发。训练中建议依据splits字段划分训练集，并参考元信息中的编解码参数完成视频解码与帧对齐，以确保输入管道与数据特性一致。

背景与挑战

背景概述

机器人操作技能的学习与泛化长期依赖高质量的真实世界演示数据，以弥合仿真到现实的鸿沟。place-lower-r2-emp-test数据集由LeRobot框架构建，于2024年前后发布于Hugging Face平台，包含4个回合、2996帧、30fps的SO follower机械臂操作数据，任务单一。该数据集聚焦于机械臂在真实环境中的放置任务，通过双视角视频与关节位置、动作序列等多模态信息，为模仿学习与机器人策略研究提供基础素材。其核心价值在于推动数据驱动的机器人操作研究，尤其为小样本场景下的技能学习与评估提供可复用的基准。

当前挑战

该数据集所解决的领域问题是真实机器人高精度放置操作的模仿学习与泛化，其核心挑战在于从有限演示中提取可迁移的操控策略。构建过程中面临多重挑战：演示数据的采集需保证动作轨迹的平滑性与时间对齐精度，双视角视频与关节状态的同步记录对硬件与软件协同提出较高要求；仅4个回合的少量样本易导致模型过拟合，难以覆盖放置任务的多样性；真实环境的传感器噪声、光照变化与物体位姿差异进一步增加策略学习的难度。这些因素共同构成该数据集在机器人学习研究中的主要挑战。

常用场景

经典使用场景

在机器人学习领域，基于视觉的运动控制策略学习一直是核心议题，而place-lower-r2-emp-test数据集恰为这一方向提供了典型的实验场域。该数据集依托LeRobot框架构建，涵盖so_follower机器人执行低位放置任务的四个回合，总计2996帧、30fps的视觉与状态记录，包含六自由度关节位置及双路摄像头观测。经典使用场景集中于模仿学习与视觉运动策略的端到端训练，研究者可利用其状态-动作配对数据驱动策略网络，完成从视觉输入到关节控制的映射学习，进而评估机器人在精细放置任务中的表现。

解决学术问题

该数据集回应了机器人操作学习中样本效率与视觉泛化能力的双重挑战。在学术研究中，如何以有限演示数据习得稳健的放置策略、如何将高维视觉观测压缩为可执行的动作序列，均为长期困扰研究者的难题。place-lower-r2-emp-test通过提供真实机器人执行低位放置任务的多模态记录，为验证模仿学习算法、状态估计方法及视觉编码器设计提供了标准化的评测基准，其存在有助于推动小样本条件下机器人技能获取研究的可复现性与可比性。

衍生相关工作

以place-lower-r2-emp-test为代表的任务型数据集，为LeRobot生态内的算法迭代提供了实证基础，衍生出若干围绕视觉模仿学习与机器人操作策略优化的经典工作。相关研究多以此类数据为训练与评估载体，探索扩散策略、行为克隆及视觉-语言-动作模型在真实机器人任务中的适用边界，进而推动开源机器人学习框架下算法与数据协同演进的良性循环。