aaawangge/rollout_pi05-so101-pen-transfer

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=aaawangge/rollout_so101-pi05-pen-transfer_20260527_185714"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "fps": 30, "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.top": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false, "video.g": 2, "video.crf": 30, "video.preset": 12, "video.fast_decode": 0, "video.video_backend": "pyav", "video.extra_options": {} } }, "observation.images.front": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false, "video.g": 2, "video.crf": 30, "video.preset": 12, "video.fast_decode": 0, "video.video_backend": "pyav", "video.extra_options": {} } }, "observation.images.right": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false, "video.g": 2, "video.crf": 30, "video.preset": 12, "video.fast_decode": 0, "video.video_backend": "pyav", "video.extra_options": {} } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } }, "total_episodes": 20, "total_frames": 12000, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "robot_type": "so_follower", "splits": { "train": "0:20" } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics dataset created using the LeRobot tool. It contains a total of 20 episodes, with 12000 frames in total, stored in parquet file format and accompanied by mp4 video files. The dataset features include actions (composed of 6 joint positions: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos), observation states (also 6 joint positions), and observation images from top, front, and right cameras (each image has a resolution of 480x640 with 3 channels, video codec av1). Additionally, it includes metadata such as timestamp, frame index, episode index, index, and task index. The robot type is so_follower, with a frame rate of 30fps, and the data is split into a training set (covering all 20 episodes). The total data file size is 100MB, and the video file size is 200MB.

搜集汇总

数据集介绍

构建方式

该数据集由LeRobot框架生成，旨在记录机器人执行笔转移任务的轨迹数据。数据采集通过so_follower型机械臂在pi05和so101配置下的实际物理交互完成，共包含20个示范片段（episodes），总帧数达12,000帧，每个片段以30帧/秒的采样频率同步记录。数据存储采用分块式Parquet格式，每块容量为1,000帧，并辅以AV1编码的高清视频流（分辨率480×640），涵盖顶部、前方与右侧三个视角的视觉观测。

特点

数据集结构清晰，融合多模态信息：六维动作空间（肩部、肘部、腕部及夹爪位置）与对应的本体感知状态严格对齐，并伴随时间戳、帧索引及任务标签等元数据。视觉与运动数据时间同步精确，具备单任务场景（笔转移）的聚焦性，同时通过多视角图像增强了对复杂操作细节的捕捉能力。整体压缩比优化，视频与数据文件分别约200MB和100MB，兼具科研可复现性。

使用方法

推荐基于LeRobot生态进行加载与处理，通过`lerobot.Dataset`接口直接访问parquet文件与编码视频。数据集预设了训练/全量划分（train:0-20片段），可配合模仿学习或离线强化学习框架使用。用户需安装pyav解码库以支持AV1视频流，并利用内置的可视化工具（如Hugging Face Space）快速浏览轨迹回放，进一步可调整图像分辨率或动作维度以适应具体算法需求。

背景与挑战

背景概述

该数据集由研究人员利用LeRobot框架创建，聚焦于机器人操作领域中的笔传递任务，旨在通过模仿学习推动机器人精细操控能力的发展。数据集记录了一个六自由度机械臂执行笔转移动作的完整过程，包含20个演示片段，总计12000帧多视角视觉图像（顶视、前视、右视）及关节状态与动作序列。其创建标志着机器人学习领域对复杂接触式操作行为数据采集与标准化的重要尝试，为研究机器人在不确定环境下通过视觉-运动耦合实现物体移交提供了基础资源。

当前挑战

数据集所解决的领域核心挑战在于机器人技能学习中的长时域精细操作问题，例如笔这类小物体的稳定传递需要精确的力反馈与动态规划，而传统方法常因接触力突变或视觉遮挡导致失败。构建过程中，多视角视频同步与高精度状态记录对硬件校准提出严苛要求，同时20个演示片段的规模限制了泛化能力，且不同演示间动作轨迹的一致性较难保障，这些因素共同构成了数据采集与模型训练的主要瓶颈。

常用场景

经典使用场景

在机器人学习与模仿学习的研究版图中，rollout_pi05-so101-pen-transfer 数据集承载着从人类示范到机器人技能迁移的精髓。该数据集以笔类物体为操作对象，记录了机械臂在精密抓取与转移任务中的完整动作序列，涵盖了六自由度关节状态、多视角视觉观测及时间戳等多元信息。研究者常将其作为评测模仿学习算法的标准场景，包括行为克隆、逆强化学习及视觉-运动联合政策网络。通过真实机器人的遥操作数据，该数据集为算法提供了高保真度的训练样本，助力模型在连续动作空间与视觉输入之间建立精准映射，从而逼近人类操作的流畅性与鲁棒性。

衍生相关工作

围绕这一数据集，一系列经典学术成果应运而生。LeRobot 框架的贡献者基于该数据开发了标准化动作模组，推动了机器人开源基准的统一。后续工作包括扩散政策（Diffusion Policy）在精细操作上的应用验证，以及基于 Transformer 的序列预测模型对长程依赖问题的优化。此外，研究人员曾利用该数据集对比分析行为克隆与逆强化学习在灵巧任务中的成效差异，并衍生出针对物体传递的成功检测指标。这些工作不仅提升了笔类转移任务的操作成功率，也为通用机器人技能库的构建奠定了基石，激励着学界向更复杂的多阶段操作目标迈进。

数据集最近研究

最新研究方向

在机器人操作技能学习的前沿领域，该数据集聚焦于基于视觉与关节状态的多模态模仿学习。通过记录SO-100双臂协作机器人在笔类物体转移任务中的高保真轨迹——涵盖20个完整回合、12,000帧同步数据和三视角视觉流（顶部、前方、右侧），为研究精细物体操作中的策略泛化与迁移学习提供了宝贵资源。结合LeRobot框架与大规模预训练视觉模型，这些数据正推动着从简单动作克隆到复杂任务自主规划的发展，例如在工业装配或医疗手术辅助中实现零样本或少样本的灵巧操作能力，其采用的标准格式也促进了跨机器人平台的基准测试与成果复用。