congnguyenzn/soarm-101_20260527_185856

该数据集是一个机器人数据集，使用LeRobot创建，专门针对追随者（so_follower）机器人类型。数据集包含一个总任务，分为1个情节，总计1795帧数据，帧率为30fps。数据特征包括动作（6维浮点数组，对应肩部、肘部、手腕和夹爪的位置）、观测状态（与动作相同的6维浮点数组）、观测图像（来自手腕和前置摄像头的视频，分辨率为480x640，3通道彩色，使用AV1编解码器），以及时间戳、帧索引、情节索引等元数据。数据以Parquet文件格式存储，视频文件以MP4格式存储，总数据大小约300MB（数据文件100MB，视频文件200MB）。数据集适用于机器人学习和控制任务，采用Apache 2.0许可证。This dataset is a robotics dataset created using LeRobot, specifically for the so_follower robot type. It contains one total task, divided into 1 episode, with a total of 1795 frames at a frame rate of 30fps. The features include actions (a 6-dimensional float array for shoulder, elbow, wrist, and gripper positions), observation states (a similar 6-dimensional float array), observation images (videos from wrist and front cameras with a resolution of 480x640, 3 color channels, using AV1 codec), and metadata such as timestamp, frame index, and episode index. The data is stored in Parquet file format, with video files in MP4 format, totaling approximately 300MB (100MB for data files and 200MB for video files). The dataset is suitable for robotics learning and control tasks and is licensed under Apache 2.0.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人学习领域设计。数据采集自so_follower型机械臂，通过遥操作方式记录6个关节（肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部滚动及夹爪）的连续动作状态与对应观测信息。数据集以30帧/秒的采样频率采集，包含单个任务片段的1795帧时序数据，并统一存储为Parquet格式的结构化文件与AV1编码的高清视频流。数据划分策略将全部样本归入训练集，确保模型训练的完整性。

特点

数据集融合多维感知与动作空间信息，提供6维连续动作指令与对应的关节状态观测，同时配备腕部与前方两个视角的480×640分辨率彩色视频流，支持深度模仿学习研究。所有视频采用AV1编码并经过压缩优化，在保持视觉质量的前提下降低存储开销。数据以chunk分片形式组织，便于分布式处理与流式加载，且元数据中明确标注了机器人类型、帧率、编解码参数等关键属性，为算法复现提供高透明度的基准。

使用方法

用户可通过HuggingFace平台的数据集可视化工具直接浏览样本内容，或利用LeRobot库的API加载数据用于模型训练。数据集默认采用训练集划分（train: 0-1），可通过指定chunk索引访问特定分片的Parquet特征文件及对应的MP4视频。开发者在使用时需注意视频解码依赖PyAV库，并可根据meta/info.json文件中的特征定义灵活适配各类模仿学习与行为克隆算法，将动作序列与视觉观测作为端到端策略网络的输入输出。

背景与挑战

背景概述

SOARM-101数据集由研究者于2025年5月创建，旨在推动机器人操控领域的发展，尤其是基于视觉的机械臂精细操作任务。该数据集利用LeRobot框架采集，聚焦于SO系列机械臂（so_follower）的六自由度运动数据，包括肩部、肘部、腕部及夹爪的动作序列，并同步记录前向与腕部摄像头的高清视觉信息。数据集包含1个任务片段、1795帧数据，以30帧/秒的速率捕捉，为模仿学习与机器人操控策略研究提供了结构化的多模态样本。其发布为验证机器人从示范中学习复杂动作的能力奠定了基础，对提升机械臂在精密操作场景中的自主性具有重要参考价值。

当前挑战

当前机器人学习面临的首要挑战是缺乏高质量、多模态的示范数据，这使得通用操控策略难以泛化至复杂任务。SOARM-101数据集旨在解决这一瓶颈，专注于为六轴机械臂提供精确的动作与视觉对应样本，以支持行为克隆与离线强化学习。在构建过程中，数据集构建者需应对数据采集一致性难题，包括不同轨迹间的机械臂位姿对齐、摄像头视角与光照变化带来的视觉干扰，以及高帧率（30 FPS）下视频流与动作标签的同步误差。此外，数据集总量仅为1795帧，单任务片段的有限规模也对其在复杂场景中的泛化能力构成了制约。

常用场景

经典使用场景

在机器人学习与模仿学习的研究疆域中，soarm-101_20260527_185856数据集以SO系列机械臂为核心，提供了包含肩部、肘部、腕部及夹爪在内的六自由度连续动作序列与关节状态信息，并辅以高分辨率腕部与前方视觉观测。该数据集最经典的使用场景聚焦于基于视觉的机器人精确操控策略学习，研究者可借助其完整的状态-动作-图像对应关系，训练从高维感知输入到低维运动指令的端到端映射模型。每一帧都标注了时间戳与任务索引，支持时序建模与多任务迁移，为机械臂在精细装配、物体抓取等任务中的行为克隆与强化学习提供了标准化训练基线。

解决学术问题

该数据集直面机器人领域长期存在的‘状态估计漂移’与‘模拟到现实迁移’的学术难题。传统方法常依赖精确的物理仿真环境，但真实世界的摩擦力、关节柔性等因素难以建模。soarm-101通过记录真实机械臂在物理环境中的操作数据，为研究从仿真策略到实体部署的零样本或少样本迁移提供了可靠的基准。此外，其统一的特征结构使得跨机器人平台的泛化性研究成为可能，推动了条件模仿学习与逆强化学习等算法在解决非结构化环境下的鲁棒操控问题上的进展，显著提升了机器人系统对动态干扰的自适应能力。

衍生相关工作

围绕该数据集的提出，后续涌现了一系列重要衍生工作。在算法层面，研究者基于其动作空间与观测空间的耦合特性提出了分层模仿学习架构，将机械臂的粗粒度轨迹规划与细粒度夹爪控制解耦，显著提升了复杂序列任务的成功率。在数据集扩展方面，有工作通过收集多视角立体图像并结合深度估计网络，衍生出了‘视觉-触觉’融合的推理数据集，用于研究表面材质感知下的力控策略。此外，该数据集的公开还催生了跨机构联合竞赛，参与者利用其标准格式开发了轻量化在线微调管线，使得新用户在仅需少量样本的情况下即可适配至异构机械臂平台，大大降低了机器人技能学习的门槛。