so101_red_left

该数据集是为机器人学任务设计的，包含18个完整的事件序列，共计7908帧数据。数据集采用Apache-2.0许可协议，由LeRobot项目创建。数据以parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集包含多种特征，包括机器人动作（6个关节位置）、观察状态（6个关节位置）、两个视角的视频观察（手腕和工作区视角，分辨率480x640，RGB格式）、时间戳、帧索引、事件索引等。所有视频数据采用h264编码，yuv420p像素格式，无音频。数据集适用于机器人控制、行为克隆等研究任务。

This dataset is designed for robotics research tasks, consisting of 18 complete event sequences totaling 7908 frames. Developed by the LeRobot project, it is licensed under the Apache-2.0 open-source license. The dataset is stored in Parquet format, with the total size of data files reaching 100 MB and video files reaching 200 MB, operating at a frame rate of 30 fps. It encompasses various features: robot actions (6 joint positions), observation states (6 joint positions), video observations from two perspectives (wrist and workspace views, with a resolution of 480×640 in RGB format), timestamps, frame indices, event indices, and more. All video data employs H.264 encoding with the yuv420p pixel format, and contains no audio tracks. This dataset is applicable to research tasks including robot control and behavioral cloning.

原始信息汇总

数据集概述：so101_red_left

该数据集是一个基于 LeRobot 框架创建的机器人数据集，适用于机器人操控任务的训练与评估。

基本信息

• 许可证： Apache-2.0
• 任务类别： 机器人学 (robotics)
• 机器人类型： so_follower
• 数据格式： Parquet 文件

数据集规模

• 总片段数： 18
• 总帧数： 7,908
• 总任务数： 1
• 帧率： 30 FPS
• 数据文件大小： 100 MB
• 视频文件大小： 200 MB

数据划分

• 训练集： 全部 18 个片段用于训练（索引 0:18）

数据特征

数据集包含以下特征字段：

特征名称	数据类型	形状	说明
action	float32	[6]	6维动作数据（肩部、肘部、腕部、夹爪位置）
observation.state	float32	[6]	6维状态观察数据（同动作维度）
observation.images.wrist	视频 (h264)	[480, 640, 3]	腕部摄像头视频（高度480，宽度640，3通道）
observation.images.workspace	视频 (h264)	[480, 640, 3]	工作区摄像头视频（高度480，宽度640，3通道）
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

数据组织

• 数据路径： data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径： videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分块大小： 1,000

搜集汇总

数据集介绍

构建方式

so101_red_left数据集是依托LeRobot开源框架构建的机器人学专用数据集，专为复现机械臂在特定环境中执行“向左抓取红色物体”这一任务而设计。数据采集基于so_follower机器人平台，通过遥操作方式引导机械臂完成共计18条演示轨迹，并以30帧/秒的采样频率同步记录机器人关节状态与多视角视觉信息。整个数据集包含7908帧有效数据，被划分为单个任务，所有轨迹均归入训练集，以parquet格式存储结构化数据，同时将腕部与工作空间的相机视频以H.264编码的mp4文件独立归档，确保了数据的高效存取与回放。

特点

本数据集的一大亮点在于其多模态融合特性，同时记录了6维关节动作指令（肩部俯仰、肩部抬升、肘部弯曲、腕部弯曲、腕部滚动及夹爪开合）与对应状态观测，以及分辨率为480×640的腕部与工作空间双路彩色视频，为模仿学习与视觉运动策略提供了丰富的输入通道。数据规模虽小但质量精良，18段总计约8万帧的演示足以支撑轻量级策略的快速迭代验证。所有样本均以统一时间戳与帧索引对齐，便于研究者进行时序建模与因果推理，且采用了Apache-2.0开源许可，降低了学术与工业应用的门槛。

使用方法

使用so101_red_left数据集时，推荐通过LeRobot框架的API进行加载与预处理，利用其内置的数据可视化与增强工具可快速理解轨迹分布。研究者可将数据集直接输入基于行为克隆、扩散策略或隐式规划等模仿学习管线，其中动作空间与状态空间的维度一致，简化了策略网络的架构设计。双路视频流在训练时需根据模型需求进行下采样或特征提取，建议将视频帧与关节状态拼接为多模态输入。由于全部数据均用于训练，用户需自行划分验证集或通过交叉验证评估模型泛化能力，也可利用其结构作为模板拓展至更多任务场景。

背景与挑战

背景概述

在机器人学习领域，模仿学习凭借其从人类示范中高效获取技能的特性，已成为推动具身智能发展的关键范式。so101_red_left数据集由研究人员sajad2222基于LeRobot框架创建，专注于通过示教数据驱动6自由度SO_Follower机械臂的精细操作。该数据集包含18个示范回合、7908帧动作序列及双视角视觉记录（腕部与工作空间，分辨率480×640，30帧/秒），核心研究问题在于利用多模态观测（关节状态、动作指令、图像流）复现红色目标物拾取与转移的精准控制策略。其采用Apache-2.0许可开放发布，为低样本模仿学习在工业级串联机械臂上的泛化研究提供了标准化基准。

当前挑战

该数据集面临的挑战具有双重维度。领域层面，6自由度机械臂的高维连续动作空间与非凸动力学约束要求算法具备强时序关联建模能力，而仅18个示范回合的稀疏样本规模极易引发离线学习中的状态分布偏移与策略过拟合问题。构建层面，硬件端SO_Follower机械臂的未校准关节摩擦力与工作空间光照波动引入了观测噪声，双摄像头同步采集时30帧/秒的帧率与H.264编码压缩可能导致视觉-运动流的时间错位；此外，单任务（红色目标操作）的封闭式设定限制了跨场景泛化，当前数据文件的100MB存储量和视频文件200MB的体量亦对高效存储与加载架构提出优化需求。

常用场景

经典使用场景

在机器人学习领域，so101_red_left数据集被广泛用作模仿学习（Imitation Learning）与行为克隆（Behavioral Cloning）的经典基准。该数据集包含18个完整的操作任务片段，由SO-100系列机械臂在“红色左移”任务背景下采集，记录了机械臂六自由度关节角度和末端夹爪位置，同时提供了腕部与工作空间双视角的视觉流。研究者通常利用此数据集训练基于视觉的运动策略，使得机器人能够从专家示范中习得精准的抓取与搬运动作，是验证策略泛化能力与鲁棒性的重要资源。

衍生相关工作

该数据集衍生出了一系列经典工作，包括基于扩散策略（Diffusion Policy）的操作动作生成模型，以及利用共享主干网络（Shared Backbone）进行视觉运动表征学习的框架。此外，以LeRobot开源库为基础，研究者扩展了多个迁移学习任务，例如跨不同工况（如光照和物体姿态变化）的策略泛化。该数据集还催生了针对小样本模仿学习的数据增强方法，推动了机器人学习领域对数据效率与策略实用性的双重探索。

数据集最近研究

最新研究方向

该数据集聚焦于机器人操控领域的模仿学习前沿方向，尤其针对SO-100系列机械臂的精细动作复现。在具身智能浪潮中，研究人员正利用此类低维动作空间与高维视觉观测相结合的数据，探索从人类演示中学习复杂操作技能的新范式。so101_red_left数据集虽规模有限（仅18个片段），但其标准化的LeRobot格式与多模态信息（6维关节状态、双视角视频流）为策略泛化与少样本学习提供了关键试验床。当前热点包括基于扩散策略的动作生成和跨任务迁移学习，该数据集恰好成为验证算法在有限样本下鲁棒性的基准——其包含的腕部与工作空间双摄像头数据，更是推动视觉-运动联合表征研究的重要资源，对实现机器人从仿真到真实环境的技能迁移具有奠基意义。