so101-yellow-lego-to-white-case_20260727_220921

该数据集使用 LeRobot 框架创建，是一个面向机器人操作任务的模仿学习数据集。数据集包含 100 个片段，共计 38384 帧，所有片段对应单一任务。数据特征包括：6 维动作指令（肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置），6 维观察状态（与动作维度相同），以及两个摄像头视角的观测图像（手腕摄像头和前方摄像头，分辨率 480×640，RGB 三通道，视频编码为 AV1，帧率 30 FPS）。此外还包含时间戳、帧索引、片段索引、索引和任务索引等辅助信息。机器人类型为 so_follower（一种跟随机器人）。数据以 Parquet 文件存储结构化数据，视频以 MP4 文件存储。整个数据集适用于机器人控制策略的模仿学习、行为克隆或强化学习训练。This dataset is created using the LeRobot framework for imitation learning of robotic manipulation tasks. It contains 100 episodes with 38384 frames, all for a single task. Features include 6-dimensional action commands (shoulder rotation, shoulder lift, elbow bend, wrist bend, wrist rotation, gripper position), 6-dimensional observation state (same dimensions as actions), and observation images from two camera views (wrist camera and front camera, resolution 480x640, RGB, video codec AV1, 30 FPS). Auxiliary information includes timestamps, frame indices, episode indices, index, and task index. The robot type is so_follower (a follower robot). Data is stored as Parquet files for structured data and MP4 files for videos. The dataset is suitable for imitation learning, behavior cloning, or reinforcement learning of robot control policies.

原始信息汇总

数据集概述：so101-yellow-lego-to-white-case_20260727_220921

基本信息

• 许可证：Apache 2.0
• 任务类别：机器人（Robotics）
• 标签：LeRobot
• 创建工具：该数据集使用 LeRobot 创建
• 机器人类型：so_follower

数据集结构

数据规模

• 总episodes数：100
• 总帧数：38,384
• 总任务数：1
• 数据文件大小：100 MB
• 视频文件大小：200 MB
• 数据分块大小：1,000
• 数据划分：训练集（train）覆盖 0:100，即全部数据用于训练

数据特性（Features）

数据集包含以下字段：

字段	数据类型	形状	说明
action	float32	[6]	动作信号，包含6个关节位置
observation.state	float32	[6]	观察状态，包含6个关节位置
observation.images.wrist	video	[480, 640, 3]	腕部摄像头视频流（RGB）
observation.images.front	video	[480, 640, 3]	前方摄像头视频流（RGB）
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	Episode索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

动作与观察状态空间

action 和 observation.state 均包含以下6个维度：

• shoulder_pan.pos
• shoulder_lift.pos
• elbow_flex.pos
• wrist_flex.pos
• wrist_roll.pos
• gripper.pos

视频参数

两个摄像头（wrist 和 front）的视频参数如下：

• 分辨率：480 × 640，3通道（RGB）
• 编码格式：AV1
• 像素格式：yuv420p
• 视频帧率：30 FPS

数据存储格式

• 数据路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

搜集汇总

数据集介绍

构建方式

本数据集依托LeRobot框架构建，专注于机器人操作任务，具体场景为将黄色乐高积木放置于白色箱子中。数据集包含100个演示回合，总计38384帧，以30帧每秒的采样频率记录。每个样本均涵盖六自由度机械臂的关节位置与夹爪状态作为动作及观测状态，同时配备腕部与前方两个视角的640x480 RGB视频流。数据以Parquet格式存储，视频采用AV1编码压缩，并附有统一的时间戳与索引信息，确保时序一致性与数据完整性。

特点

该数据集具备多模态特性，融合高精度运动状态与双视角视觉信息，能够为模仿学习提供丰富的环境表征。其结构设计严谨，包含完整的元数据配置，便于复现与扩展。数据规模适中，既包含足够的样本多样性以支撑泛化训练，又维持了高效的数据管理。任务专一性强，聚焦于精细的物体搬运操作，为评估机器人控制算法提供了明确基准。

使用方法

数据集遵循LeRobot的标准接口，用户可直接通过HuggingFace平台的可视化工具进行浏览与预览。在训练阶段，可加载Parquet文件中的运动学数据与编码视频，用于构建端到端的策略模型。数据划分明确，提供单一训练集，适合离线强化学习与行为克隆等范式。建议研究者利用其提供的action与observation.state字段建立映射，结合图像输入进行多模态策略学习，并在仿真或实物环境中验证效果。

背景与挑战

背景概述

该数据集由emboss369于2026年7月27日创建，基于HuggingFace LeRobot框架构建，专为机器人操作任务设计。其核心研究问题在于实现机器人从黄色乐高积木到白色盒子的精准抓取与放置，涉及6自由度机械臂（so_follower）的关节控制与视觉感知。数据集包含100个演示片段，共计38384帧，采样频率为30Hz，通过腕部与前方双摄像头同步采集RGB图像，并记录机械臂关节位置及夹爪状态，为模仿学习与强化学习算法提供高质量的多模态训练样本。作为LeRobot生态的一部分，该数据集旨在推动机器人操作技能的泛化研究，尤其在精细装配与物体搬运场景中具有潜在应用价值，为领域内研究者提供了标准化、可复现的实验基准。

当前挑战

该数据集所面临的挑战主要体现在多维度上。首先，其针对的领域问题——机器人复杂操作技能学习，需处理高维视觉与低维关节动作的异构数据融合，以及如何在有限示教下实现跨场景的泛化能力，是当前机器人学习研究的核心难点。其次，在数据集构建过程中，采集高保真、同步的视觉与运动数据需要精密的硬件校准与时间对齐，同时确保不同演示间动作策略的一致性；此外，原始数据的噪声、异常轨迹及环境干扰（如光照变化、遮挡）需经过严格的清洗与标注流程，而LeRobot框架下的数据格式转换、压缩存储（如AV1视频编码）及大数据量（100MB）的高效管理也对基础设施提出了挑战。这些因素共同影响数据集的可用性与模型训练效果。

常用场景

经典使用场景

此数据集为机器人操作领域内一项精细动作模仿学习的典型样本，源自SO-101机械臂执行将黄色乐高积木置入白色盒体的任务。其采集频率为30Hz，包含100个演示回合，共计38384帧的高质量传感器记录，涵盖6维关节角度控制指令及前视、腕部双视角视觉流，为基于视觉的机器人操作策略训练提供了标准化的数据支撑。此类数据常用于端到端模仿学习研究，如行为克隆、隐式策略学习及扩散策略等算法，用以训练模型从高维像素输入直接映射至低维动作输出，验证算法在精密装配与物体搬运任务中的泛化能力与鲁棒性。

解决学术问题

该数据集有效回应了机器人学习中面临的‘少样本泛化’与‘多模态融合’两大核心难题。通过提供紧凑但包含丰富动作与多视角图像数据的任务集，使研究者得以在受控环境下模拟并评估不同策略在视觉-运动协调上的表现，进而深入探讨视觉特征提取、时序建模及动作平滑性之间的交互影响。其意义在于，可作为基准测试平台，推动模仿学习算法从简单抓取向复杂空间操作演进，为构建更智能、自适应能力更强的机器人操作系统奠定数据基础，促进该领域的实证研究与理论突破。

衍生相关工作

围绕此类数据，学术界已衍生出多项开创性工作。一方面，它催生了针对SO系列机械臂的动力学辨识与控制器设计研究，如基于学习的逆动力学模型，旨在提升轨迹跟踪精度。另一方面，它激发了多模态表示学习与跨视角特征对齐的创新方法，例如利用对比学习增强视觉-动作联合嵌入。此外，该数据亦成为验证离线强化学习算法在真实机器人数据集上有效性的重要载体，推动了诸如IQL、CQL等算法的实际应用验证，并促进了数据高效型策略蒸馏技术的发展。