banroku/SO-101_1

该数据集是通过LeRobot创建的，主要用于机器人技术领域。数据集包含20个episodes，9000帧数据，30fps的视频，数据文件大小为100MB，视频文件大小为200MB。数据特征包括动作、观察状态、图像、时间戳、帧索引、episode索引等。动作和观察状态都包含6个浮点型数据，分别对应机器人关节的位置。图像数据为480x640分辨率的彩色视频。

This dataset was created using LeRobot and is primarily used in the field of robotics. The dataset contains 20 episodes, 9000 frames of data, 30fps videos, with data files sized at 100MB and video files at 200MB. Data features include actions, observation states, images, timestamps, frame indices, episode indices, etc. Both actions and observation states consist of 6 floating-point data corresponding to the positions of robot joints. The image data consists of color videos with a resolution of 480x640.

搜集汇总

数据集介绍

构建方式

SO-101_1数据集依托于LeRobot框架构建，专为机器人模仿学习研究而设计。该数据集通过真实机器人操作采集而成，共包含20个完整演示回合，累计9,000帧时序数据，所有数据均采用Apache-2.0许可协议开放。数据以Parquet格式存储结构化的运动学信息与传感器读数，同时以AV1编码的MP4视频文件记录前视摄像头画面，形成多模态数据流。构建时按每1,000帧划分为一个数据块，便于高效加载与分布式处理，所有演示均归属于同一任务类型。

特点

该数据集的核心特色在于其精细化的运动学标注与多模态融合特性。状态空间与动作空间均定义为六维关节向量，涵盖肩部、肘部、腕部及夹爪的位姿信息，为模仿学习提供了完整的运动轨迹监督信号。视觉模态采用640×480分辨率、30帧每秒的彩色前视图像，与低层运动数据实现精确的时间对齐。数据集还提供了帧索引、回合索引与时间戳等结构化元数据，便于研究者构建时序模型或进行数据重放分析。

使用方法

使用者可通过LeRobot工具链轻松加载该数据集并用于训练。推荐将数据划分为训练集与验证集，所有20个回合均默认划入训练范围。在模型训练时，可将'observation.state'与'observation.images.front'作为观测输入，以'action'作为预测目标，构建基于视觉和状态信息的策略网络。Parquet文件与视频文件按块索引命名，支持流式读取，适合大规模批量训练。研究者亦可利用LeRobot内置的可视化界面在线预览演示数据，辅助算法调试。

背景与挑战

背景概述

SO-101_1数据集诞生于机器人学习与模仿学习领域快速发展的背景之下，由社区研究人员依托LeRobot框架创建，旨在为机器人操作技能的学习提供标准化的数据资源。该数据集聚焦于单任务操作场景，通过SO-Follower机械臂采集了20个示范回合，共计约9000帧的关节状态与视觉观测数据。数据集的核心研究问题在于如何利用高保真的专家演示，驱动机器人掌握精细的关节级操控策略，尤其关注多自由度机械臂的协调运动与抓取动作。尽管规模有限，SO-101_1体现了数据驱动方法在机器人学习中的关键作用，为后续将离线强化学习与行为克隆技术应用于实际机械臂系统提供了基础性验证平台。

当前挑战

该数据集面临的挑战涵盖领域问题与构建过程两个层面。在领域问题层面，机器人操作学习面临从有限示范中泛化的难题，SO-101_1仅含20个回合与单一任务，难以支撑模型在真实环境中的鲁棒性与适应性，数据稀疏性导致其无法充分覆盖状态空间的多样性。在构建过程中，采集系统需应对高精度动作序列与视觉流的同步难题，确保30帧/秒下6维关节指令与640×480图像在时间戳上精确对齐。此外，数据存储与处理亦构成挑战，100MB的Parquet数据与200MB的AV1编码视频要求高效的压缩与传输方案，以避免信息丢失并保持多模态数据的一致性。

常用场景

经典使用场景

SO-101_1数据集，作为一款面向机器人操作领域的专业数据资源，其核心价值在于为模仿学习与行为克隆算法提供了高保真的示范数据。该数据集收录了来自SO_Follower型机器人在单一精细操作任务中的完整示教过程，涵盖肩部、肘部、腕部及夹爪的六维关节空间状态序列与对应的控制指令，同时配以640×480分辨率的前向视觉影像。研究者可借此训练端到端控制策略，通过学习从观测到动作的映射关系，使机器人复现复杂的操作技能，是实现低成本机器人技能获取的理想基准。

实际应用

在实际应用中，依托SO-101_1数据集训练的模型可直接部署于同构机器人平台，完成诸如精密装配、柔性抓取等工业任务。该数据集中视觉与关节状态的协同记录，使得机器人能够在动态变化的工况下，通过实时感知环境反馈来调整操作姿态，显著提升自动化产线的适应性与鲁棒性。此外，其Apache-2.0的开源许可极大地降低了研究门槛，使得中小型科研机构与初创企业能够在无需昂贵硬件的条件下，快速验证并迭代操作技能，加速了智能机器人从实验室原型向工业现场落地的转化进程。

衍生相关工作

SO-101_1数据集依托LeRobot生态构建，其衍生工作主要集中于基于视觉-运动融合的策略网络设计。一方面，研究者利用其多模态特征开发了条件变分自编码器与扩散策略模型，成功实现了在相同任务上的高成功率再现；另一方面，该数据集被用作数据增强与少样本迁移学习的基准，推动了跨机器人的运动技能对齐与零样本泛化研究。同时，围绕其一致的采样协议和标准化的parquet存储格式，催生了一系列便于复现的训练流水线，为机器人操作领域的社区协作与成果比较奠定了方法论基础。