aaawangge/rollout_act_so101-pen-transfer

该数据集是一个机器人领域的数据集，使用LeRobot工具创建。它包含20个episodes，总计12000帧数据，记录了so_follower类型机器人的动作和观测信息。动作数据包括6个关节（如肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪）的位置信息。观测数据包括机器人状态（同样6个关节位置）以及三个视角（顶部、前部和右侧）的图像视频，视频分辨率为480x640，帧率为30fps。数据以parquet和mp4格式存储，总数据大小约为300MB（其中数据文件100MB，视频文件200MB）。数据集适用于机器人控制、模仿学习等任务。This dataset is a robotics dataset created using the LeRobot tool. It contains 20 episodes with a total of 12,000 frames, recording action and observation data for a so_follower type robot. The action data includes positions of 6 joints (such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper). The observation data includes robot state (the same 6 joint positions) and video images from three perspectives (top, front, and right), with a resolution of 480x640 and a frame rate of 30fps. The data is stored in parquet and mp4 formats, with a total size of approximately 300MB (100MB for data files and 200MB for video files). The dataset is suitable for tasks such as robot control and imitation learning.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人操作技能的学习与迁移。数据采集对象为so101型六自由度机械臂，执行笔类物体转移任务，共包含20个完整演示片段，总计12000帧时序数据。每个片段以30帧/秒的速率同步记录，涵盖肩部、肘部、腕部及夹爪的六维关节位置控制指令，以及顶部、前方、右侧三个视角的640×480像素RGB视频流。数据存储采用分块式Parquet格式与AV1编码视频相结合，在确保100MB结构化数据与200MB视觉数据容量的前提下，通过chunk分片索引实现高效存取。

使用方法

研究人员可通过LeRobot生态系统的可视化工具直接查阅数据集内容，进行定性分析。在模型训练场景中，建议将全部20个片段按默认划分作为训练集，借助dataloader接口按chunk索引逐块加载时序帧与对应动作标签。利用提供的六维关节位置作为动作输出目标，可将三路视频帧经空间变换后输入视觉编码器，与状态向量在特征层面融合，构建端到端的模仿学习策略。此外，多视角视频流支持视觉特征解耦研究，例如通过视角对比学习提取视角不变的操作鲁棒表征。

背景与挑战

背景概述

该数据集由用户aaawangge于2026年创建，依托LeRobot框架构建，专注于机器人操作技能学习中的笔传递任务。核心研究问题在于如何通过模仿学习，使机器人从视觉与状态观测中精确执行对柔性物体的操作。数据集采用SO-101型机械臂作为执行平台，记录30帧每秒的六维关节动作与三视角（顶、前、右）视觉信息，为基于行为的机器人学习提供高保真训练样本。在机器人学习领域，此类细粒度操作数据集对于推动从仿真到真实世界的技能迁移研究具有重要意义。

当前挑战

数据集所解决的领域挑战在于机器人对柔性物体（如笔）的精细操控，这涉及复杂的力位协同与实时视觉反馈，是传统位置控制方法难以应对的难题。构建过程中，数据收集面临多模态传感器同步的挑战，需精确对齐六维关节状态与三路视频流的时间戳。此外，在仅20个回合、12000帧的有限样本下，如何确保动作覆盖的多样性与泛化能力，同时避免演示数据中的噪声污染，是数据质量保障的核心难点。

常用场景

经典使用场景

在机器人学习与研究领域，rollout_act_so101-pen-transfer数据集凭借其精细的动作记录与多视角视觉观测，成为模仿学习与行为克隆范式的理想训练素材。该数据集聚焦于笔类物体的转移操作，记录了SO-101型机械臂从肩部至夹爪的六自由度关节运动轨迹，同时融合了顶部、前方及右侧三路高清摄像头的视频流，为智能体提供了丰富的状态-动作映射对。研究者常利用其30Hz的高频采样与完整的20条演示回合，构建端到端策略网络，使机器人学会在动态环境中稳健地完成精准取放与物体交接任务。

解决学术问题

该数据集有效解决了精细操作任务中数据稀疏性与泛化能力不足的学术困境。通过提供标准化的多模态观测数据（关节状态与视觉图像）及对应的专家动作序列，为验证策略网络在连续动作空间中的回归精度与鲁棒性提供了可靠基准。学术界可基于此探索维度诅咒的缓解方案，例如通过对比不同视角融合方式对手眼协调性能的影响，或研究少量演示下元学习与域随机化技术对策略迁移能力的提升，进而推动灵巧操作从仿真到真实环境的零样本泛化。

实际应用

在工业自动化与医疗辅助等实际场景中，该数据集支撑的算法可直接部署于精密装配流水线，使机械臂能够安全、平稳地传递易损物品如注射器或电子元件。物流分拣系统中，借由学习到的夹爪力控与轨迹规划策略，可优化包裹的抓取与转运环节，减少因滑动或碰撞导致的损坏。此外，基于该数据训练的模型还能迁移至服务机器人领域，实现辅助老年人或残障人士进行笔、餐具等日常物品的交接，显著提升人机交互的流畅性与安全性。

数据集最近研究

最新研究方向

在机器人学习与灵巧操作领域，本数据集聚焦于高精度笔类物体转移任务，体现了基于行为克隆（ACT）策略在真实机械臂上的前沿应用。该数据依托LeRobot开源框架构建，通过SO-101型从动臂采集包含600维连续动作空间与多视角视觉观测的高频数据（30FPS），为模仿学习中的状态-动作映射提供了标准化基准。当前研究热点正围绕如何利用此类细粒度操作数据集提升机器人对柔软、易变形物体的泛化能力，相关成果已推动端到端策略在精密装配与医疗手术辅助等实际场景中的落地，标志着数据驱动的灵巧操作从仿真向真实世界的关键跃迁。