nitred/so101-combined-75ep-26-05

该数据集是一个用于机器人学习的数据集，由LeRobot创建。它包含了机器人执行任务时的动作和观察数据，具体特征包括：机器人的关节位置动作（如肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕旋转和夹爪位置），以及观察状态，这些状态同样包含关节位置和来自顶部及手腕摄像头的图像观察（图像分辨率为480x640，RGB三通道，帧率为30fps）。此外，数据集还包括时间戳、帧索引、回合索引、索引和任务索引等元数据。数据以parquet文件格式存储，视频文件为mp4格式。数据集总共有75个回合，62547帧，总数据文件大小为100MB，视频文件大小为200MB，适用于机器人控制和模仿学习等任务。This dataset is designed for robotics learning and was created using LeRobot. It includes action and observation data from a robot performing tasks, with specific features such as robot joint position actions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position) and observation states, which also include joint positions and image observations from top and wrist cameras (image resolution 480x640, RGB three channels, frame rate 30fps). Additionally, the dataset contains metadata like timestamp, frame index, episode index, index, and task index. The data is stored in parquet file format, with video files in mp4 format. The dataset comprises a total of 75 episodes, 62547 frames, with a total data file size of 100MB and video file size of 200MB, making it suitable for tasks such as robot control and imitation learning.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的操作演示数据是训练策略模型的基础。so101-combined-75ep-26-05数据集依托LeRobot框架构建，通过SO-101 follower机械臂在统一任务下执行多次操作，采集了75个完整回合的遥操作演示。每个回合以30帧每秒的频率记录机械臂的六维关节位置（包括肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置）作为动作与状态观测，并同步采集顶部和腕部两个视角的RGB视频流。数据以Parquet列式存储与AV1编码视频文件相结合的方式组织，经分块切分后形成结构化的训练集，供后续策略学习直接调用。

特点

该数据集的核心特征体现在多模态同步与细粒度动作表征的紧密结合。75个回合累计包含62547帧，每一帧均提供六自由度关节位置向量以及顶部、腕部双路视觉观测，形成视觉-本体感觉的完整映射。视频分辨率达640×480，采用高效的AV1编码，在保证画质的同时压缩了存储开销。数据集按照LeRobot v3.0规范组织，元信息中明确标注了帧率、特征名称、文件路径及训练划分，使得数据加载与预处理流程高度标准化。单人任务、无深度图、无音频的设定，使其专注于视觉运动策略的习得，降低了多模态融合的复杂度。

使用方法

使用该数据集时，研究者可以借助LeRobot库直接加载元信息文件，依据data_path与video_path解析分块的Parquet数据与对应视频帧。数据已预先划分训练集（0至75回合），可直接用于行为克隆、扩散策略或视觉-语言-动作模型的训练。由于动作与状态均以float32存储且维度对齐，模型可便捷地构建状态到动作的映射，或利用双视角图像进行视觉编码。Hugging Face Spaces提供的可视化工具允许用户在线浏览回合回放，便于检查数据质量与任务一致性。遵循Apache-2.0许可，该数据集可用于学术与商业用途，但需注意引用来源。

背景与挑战

背景概述

在机器人学习领域，高质量、多样化的操作数据集是推动模仿学习与通用操作策略发展的关键基础设施。so101-combined-75ep-26-05数据集依托LeRobot框架构建，由Hugging Face社区贡献者创建，旨在为SO-101型机械臂提供标准化的模仿学习训练资源。该数据集包含75个回合、逾六万帧30fps的同步视觉与本体感知记录，涵盖顶部与腕部双视角视频流以及六自由度关节位置与动作序列，填补了低成本开源机械臂在精细操作任务上数据稀缺的空白，为机器人策略学习与泛化研究提供了可复现的基准平台。

当前挑战

该数据集所应对的核心领域问题在于，如何在真实物理环境中实现从多模态感知到高维连续动作的端到端映射学习，这对模仿学习算法的时序建模与视觉泛化能力提出了严峻考验。构建过程中的挑战同样不容小觑：遥操作采集需保证操作者动作与机械臂执行之间的低延迟同步，双视角视频与关节状态的时间对齐要求亚帧级精度，且仅含单一任务类型的75个回合在任务多样性与环境扰动覆盖方面存在局限，可能制约策略在未知场景下的迁移表现。

常用场景

经典使用场景

在机器人学习与具身智能领域，该数据集最经典的使用场景是作为模仿学习与行为克隆的基准训练资源。其精心采集的七十五个回合、共计六万余帧的多模态演示数据，涵盖了顶端与腕部双视角的视觉观测以及六自由度的关节位置与动作信息，使研究者能够构建端到端的视觉-动作映射模型。依托三十帧每秒的同步采样，该数据集为训练具备精细操作能力的机械臂策略提供了高质量且时序连贯的训练素材，广泛用于评估算法在真实物理交互中的泛化表现。

实际应用

在实际应用层面，该数据集可服务于多种机械臂精细操作场景的策略开发与验证。其涵盖的肩部旋转、肘部屈伸与夹爪开合等关节控制维度，直接对应桌面级抓取、装配与分拣等典型工业与服务任务。借由该数据集训练的策略模型，可部署于so_follower机器人平台执行对视觉引导精度要求较高的操作，为柔性制造、实验室自动化以及智能仓储中的物料搬运提供可迁移的算法基础，有效缩短从仿真训练到真机部署的迁移周期。

衍生相关工作

围绕该数据集，已衍生出若干具有代表性的后续工作，涵盖模仿学习策略优化、多视角融合表征以及机器人数据采集规范等领域。研究者基于其数据格式与LeRobot工具链，相继开展了行为克隆基线对比、视觉编码器预训练以及动作分块策略等方向的探索，推动了开源机器人学习生态的完善。该数据集所采用的标准化元信息结构与可视化接口，亦为同类数据集的构建提供了可借鉴的范本，促进了社区在数据共享与基准评测方面的协同进步。