SWAItest/so101_redball_20260527_180822

该数据集是一个用于机器人技术的数据集，由LeRobot工具创建。它包含30个情节和11335帧数据，总数据文件大小为100MB，视频文件大小为200MB。数据集特征包括机器人的动作（如肩部、肘部、手腕和抓手的位姿）、观察状态（与动作相同的位姿信息）、时间戳、帧索引、情节索引等。观察部分还包含来自前摄像头的视频数据，分辨率为480x640，帧率为30fps，使用AV1编码。机器人类型为“so_follower”，数据以parquet格式存储，并分为训练集（所有情节）。数据集遵循Apache 2.0许可证。This dataset is designed for robotics and was created using the LeRobot tool. It consists of 30 episodes and 11335 frames, with a total data file size of 100MB and video file size of 200MB. The features include robot actions (such as positions of shoulder, elbow, wrist, and gripper), observation states (same position information as actions), timestamps, frame indices, episode indices, and more. Observations also include video data from a front camera with a resolution of 480x640, a frame rate of 30fps, and AV1 encoding. The robot type is so_follower, and the data is stored in parquet format, split into a training set (all episodes). The dataset is licensed under Apache 2.0.

搜集汇总

数据集介绍

构建方式

作为面向机器人操作技能学习的数据资源，该数据集依托LeRobot框架完成采集与封装。其构建以so_follower机械臂为执行载体，围绕单一任务场景实施30个回合的遥操作演示，各回合以30帧每秒的同步频率记录六维关节位置指令与对应状态量，并借助前置摄像头捕获640×480分辨率的视觉观测流。原始数据经标准化处理后按Parquet列式格式分块存储，视频以AV1编码压缩，最终形成涵盖11335帧、结构统一的监督式演示数据集，可供模仿学习与策略训练直接调用。

特点

该数据集的核心特征在于状态与动作空间的高度对称性，两者均以肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部翻滚及夹爪共六个自由度位置量进行参数化表达。视觉模态仅保留单一前置视角，配合时间戳、帧索引与回合索引等元信息，形成清晰的时序对应关系。整体任务种类单一，聚焦于红色圆球的抓取或移动操作，便于研究者隔离变量、考察模型在特定任务上的收敛行为，同时较小的体量也降低了训练与可视化的计算开销。

使用方法

使用该数据集时，可借助LeRobot提供的可视化工具直接加载HuggingFace仓库路径，对30个演示回合进行回放与质量核验。训练阶段，研究者可从data目录下按chunk组织的Parquet文件中读取动作与状态序列，并从videos目录加载对应视频帧，构建以视觉观测和本体状态为输入、以动作序列为监督信号的模仿学习流程。由于元信息中已明确划分训练集为0至30号回合，数据加载器可依据info.json中的路径模板与分块规则实现自动化索引，从而便捷地嵌入现有机器人学习管线。

背景与挑战

背景概述

在机器人学习与具身智能研究迅猛发展的背景下，高质量、标准化操作数据集成为推动策略泛化与算法验证的关键基石。so101_redball_20260527_180822数据集依托LeRobot框架构建，面向SO-101型跟随机械臂，采集了30个回合、共计11335帧的抓取红色小球操作数据。该数据集以30帧每秒的频率同步记录六自由度关节位置、动作指令及前视RGB视频流，为视觉-运动策略学习提供了多模态时序信号。其结构化组织与开源许可延续了LeRobot生态的规范化传统，为机械臂精细操作研究提供了可复现的数据支撑。

当前挑战

该数据集所面对的领域问题在于机器人如何从高维视觉观测与低维关节状态中习得泛化性的抓取策略，而现实场景中目标位姿多变、光照条件不一、接触动力学复杂，使得策略的鲁棒性难以保证。构建过程中，数据采集受限于物理机器人系统的稳定性与重复精度，视觉-动作时序对齐需严格同步，视频编码与存储权衡亦影响数据质量；30个回合的样本规模在任务多样性上存在局限，可能制约策略向新物体或新环境的迁移能力。此外，单一红色小球目标使任务语义较为狭窄，难以充分评估模型在开放世界中的泛化边界。

常用场景

经典使用场景

在具身智能与机器人模仿学习领域，基于视觉-动作映射的策略训练已成为主流范式，该数据集恰为这一范式提供了典型的实验素材。其经典使用场景在于利用30条演示轨迹、逾万帧的视觉与本体感知同步数据，训练机器人完成对红色小球的抓取任务。通过将前视摄像头采集的图像与六自由度关节位置及夹爪开合状态进行时序对齐，研究者得以构建端到端的视觉运动策略，使SO-101跟随臂能够在非结构化环境中复现演示动作，进而验证模仿学习算法在精细操作任务中的有效性。

解决学术问题

该数据集着力回应了机器人学习中演示数据稀缺与视觉-动作耦合建模困难两大议题。其提供的多模态同步记录为研究高维观测空间下的策略泛化、时序依赖建模以及动作空间连续性提供了实证基础。借助该数据，学者可探究如何从有限演示中提取可迁移的运动表征，缓解仿真到现实迁移中的域偏移问题。其意义在于为社区提供了一个标准化、可复现的基准，推动模仿学习算法从仿真环境向真实机械臂部署的跨越，并促进数据驱动控制策略的可解释性研究。

衍生相关工作

围绕该数据集，社区已在LeRobot框架下衍生出若干相关工作，涵盖视觉编码器预训练、动作分块预测以及扩散策略在机械臂控制中的应用。其标准化格式促进了策略可视化与跨数据集迁移研究，部分工作将其作为少样本微调与多任务联合训练的组成部分。此外，该数据集亦被用于评估时序卷积网络与Transformer架构在连续控制中的表现差异，为后续更大规模机器人数据集的构建与基准测试提供了前期积累。