so101_stacking_big_rings

该数据集是一个用于机器人操作任务的开源数据集，由LeRobot项目创建。它包含150个完整的操作序列（episodes），总计34,020帧数据，采样频率为30 FPS。数据以多模态形式组织，核心字段包括：动作（action），是一个6维浮点向量，表示机器人六个关节（肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪）的目标位置；观测状态（observation.state），是一个6维浮点向量，表示与动作字段对应的机器人关节的当前实际位置；以及图像观测，包含两个相机视角的视频流，分别是前置相机（front）和腕部相机（wrist），每个视频帧的分辨率为480x640，包含3个RGB通道，以AV1编码存储。此外，数据集还包括时间戳（timestamp）、帧索引（frame_index）、episode索引（episode_index）、全局索引（index）和任务索引（task_index）等元数据字段。数据以Parquet文件格式分块存储，总数据文件大小约为100MB，视频文件大小约为200MB。数据集仅包含训练分割（train），适用于机器人模仿学习、强化学习、行为克隆等任务的研究与开发。This is an open-source dataset for robotic manipulation tasks, created by the LeRobot project. It comprises 150 complete manipulation episodes, totaling 34,020 frames with a sampling frequency of 30 FPS. The dataset is organized in a multimodal structure, with core fields including: Action: a 6-dimensional floating-point vector that denotes the target positions of the robot's six joints (shoulder translation, shoulder lift, elbow flexion, wrist flexion, wrist rotation, and gripper); Observation.state: a 6-dimensional floating-point vector corresponding to the current actual positions of the robot's joints matching the action field; Image observations: video streams from two camera perspectives, namely the front camera and the wrist camera. Each video frame has a resolution of 480×640 with 3 RGB channels, and is stored using AV1 encoding. Additionally, the dataset contains metadata fields such as timestamp, frame_index, episode_index, global index, and task_index. The data is stored in chunked Parquet file format, with the total size of the data files being approximately 100 MB, and the video files totaling around 200 MB. The dataset only includes a training split (train), and is suitable for research and development of tasks such as robotic imitation learning, reinforcement learning, and behavioral cloning.

原始信息汇总

数据集总览

• 名称: so101_stacking_big_rings
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot
• 创建工具: 使用 LeRobot 创建

数据集结构

• 数据格式: Parquet 文件 (data/*/*.parquet)
• 配置: 默认配置 (default)

特征字段

字段	数据类型	形状	说明
action	float32	[6]	6维动作指令（肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）
observation.state	float32	[6]	6维观测状态（与动作命名一致）
observation.images.front	视频	[480, 640, 3]	前置摄像头视频（AV1编码，30fps，RGB）
observation.images.wrist	视频	[480, 640, 3]	腕部摄像头视频（AV1编码，30fps，RGB）
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

统计数据

• 总片段数: 150
• 总帧数: 34,020
• 总任务数: 1
• 数据文件大小: 约100 MB
• 视频文件大小: 约200 MB
• 帧率: 30 FPS
• 机器人类型: so_follower
• 数据划分: 所有150个片段均用于训练（train: 0:150）

数据路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

搜集汇总

数据集介绍

构建方式

so101_stacking_big_rings数据集由开源机器人学习框架LeRobot构建，专注于机器人操作任务。该数据集通过操控so_follower型号机器人完成大圆环堆叠作业而采集，共包含150个完整演示片段，总计34020帧数据。每个演示片段以30帧每秒的速度记录，涵盖了机器人关节空间状态与视觉观测信息。数据集以Parquet格式存储结构化数据，视频流则采用AV1编码的MP4文件保存。数据被划分为多个大小为1000的块(chunk)，并明确划分了训练集（全部150个片段），以便于大規模机器学习模型的训练与评估。

特点

该数据集的核心特色在于其多模态、高保真的数据构成。它同时提供了6维机器人关节位置（shoulder_pan、shoulder_lift、elbow_flex、wrist_flex、wrist_roll及gripper）的精确状态与动作序列，以及两个高清摄像头视角的视觉输入：一个固定于前方的广角视野（480×640像素），另一个安装在机器人手腕上的近距视角（同样480×640像素）。这种“状态-动作-视觉”三元组的精细对齐，加之30Hz的采样频率，为模仿学习与行为克隆算法提供了理想的训练素材。此外，数据集仅包含单一的堆叠任务（task_index固定），降低了任务复杂度，便于研究者聚焦于操作精度的提升。

使用方法

在技术使用层面，该数据集遵循Apache-2.0开源协议，具备良好的兼容性与可复现性。开发者可通过LeRobot库提供的API直接加载与访问数据，例如利用`lerobot.Dataset`接口读取Parquet和视频文件。数据集内部结构清晰，包含`action`、`observation.state`、`observation.images.front`与`observation.images.wrist`等关键字段。此外，Hugging Face平台提供了交互式可视化功能（通过`visualize_dataset`空间），无需下载即可快速预览数据内容。推荐使用Python数据科学生态（如Pandas、PyTorch）结合LeRobot工具链进行数据预处理和模型训练，以实现高效的机器人操作技能学习。

背景与挑战

背景概述

so101_stacking_big_rings数据集由研究者lorenzouttini基于LeRobot框架创建，聚焦于机器人灵巧操作领域中的精密堆叠任务。该数据集于近年来发布，旨在为模仿学习与强化学习算法提供标准化的训练与评估平台。核心研究问题在于如何使机器人通过视觉与状态信息自主完成大圆环的堆叠操作，动作空间涵盖六自由度机械臂的关节位置与夹爪控制。通过对150个示范轨迹和34020帧数据的精心采集，数据集为研究复杂装配行为提供了坚实基础，对推动机器人从仿真到现实迁移的研究具有重要价值。

当前挑战

数据集面临的核心挑战包括：首先，解决领域共性难题——机器人从人类示范中高效学习精细操作策略，特别是在高精度堆叠任务中应对物体位姿变化、摩擦与重力干扰等物理不确定性。其次，构建过程中需处理多模态数据同步问题，确保30帧每秒的视觉流（前视与腕部相机）与关节状态数据的严格对齐。此外，仅含单一任务类型的设计限制了模型的泛化能力，未来需扩展多场景、多物体组合以应对真实工业环境的复杂装配需求。

常用场景

经典使用场景

在机器人操作研究领域，so101_stacking_big_rings数据集专为学习从视觉观测到关节动作的映射关系而设计。该数据集记录了so_follower机械臂执行大环堆叠任务的完整轨迹，包含前置摄像头和腕部摄像头的多视角视频流以及六个关节的位姿序列。研究者常将其作为模仿学习与行为克隆的基准数据集，通过30Hz采样频率提供的34020帧连贯动作数据，训练策略网络直接输出肩部、肘部、腕部等关节的连续控制指令，尤其适用于验证基于端到端视觉运动策略的泛化能力。

解决学术问题

该数据集精准回应了机器人精细操作中视觉伺服与轨迹泛化的核心学术挑战。传统方法依赖手工设计的特征提取与运动规划器，难以应对非结构化环境中的扰动。借助此数据集，学者得以探索如何从高维图像观测中解耦出有效的状态表示，并解决多视角信息融合问题。其标准化采集协议（统一机器人型号与控制频率）使不同算法在相同数据支撑下可比对性能，推动了从纯仿真环境迁移至真实物理系统的算法鲁棒性研究，为可复现的机器人学习实验范式树立了标杆。

衍生相关工作

此数据集催生了多项代表性研究工作。基于其提供的多模态轨迹数据，研究者开发了结合扩散模型的动作序列生成框架，实现了对堆叠动作间断点的平滑插值。另有工作利用其视频流特征，设计面向机器人操作的时空注意力架构，在动作预测精度上超越传统循环网络。此外，该数据集被扩展为含噪声标签与部分遮挡的难度变体，用于评测逆强化学习算法的奖励函数恢复质量。部分研究团队还将其与仿真环境数据集联合预训练，得到了迁移至其他堆叠任务时零样本泛化能力优异的通用操控模型。