so100_lego

这是一个关于机器人学的数据集，包含了20个剧集，共11149帧，1个任务，40个视频和1个块，每个块大小为1000。数据集的帧率为30fps，支持的任务类型为单个机器人任务。数据集的结构包括动作、状态、两个摄像头的图像、时间戳、帧索引、剧集索引、索引和任务索引等特征。所有数据都是以Parquet格式存储，视频以AV1编码的MP4格式存储。

This is a robotics dataset containing 20 episodes, totaling 11149 frames, 1 task, 40 videos, and 1 chunk, with each chunk sized at 1000. The dataset operates at a frame rate of 30fps and supports single-robot task types. Its structure includes features such as actions, states, images from two cameras, timestamps, frame indices, episode indices, indexes, and task indices. All data is stored in Parquet format, while the videos are saved in AV1-encoded MP4 format.

搜集汇总

数据集介绍

构建方式

在机器人技术领域，so100_lego数据集通过LeRobot框架精心构建，涵盖了20个完整交互片段，总计11149帧数据。该数据集采用分块存储机制，将每个片段以Parquet格式组织，确保数据的高效访问与处理。机器人状态与动作数据以浮点型数组记录，同时配备双视角视觉信息，分别来自臂载摄像头与顶部摄像头，帧率稳定在30fps，为机器人学习任务提供了丰富的多模态数据基础。

特点

该数据集展现出显著的多模态特性，不仅包含六维关节空间的动作指令与状态反馈，还融合了双路高清视频流。数据维度设计严谨，动作与状态向量均采用6自由度机械臂的标准化表示，视觉数据则保持480x640分辨率的三通道RGB格式。数据集结构高度规范化，通过统一的索引系统实现帧级精确定位，支持大规模机器人行为学习的复杂需求。

使用方法

研究人员可通过标准数据加载流程调用该数据集，利用预设的Parquet文件路径模板访问具体片段。训练阶段可直接提取关节角度、夹爪状态等低维特征，同时结合双视角视觉输入进行端到端策略学习。数据集的时序索引机制支持长序列建模，帧索引与时间戳信息为动态行为分析提供精确的时间对齐，适用于模仿学习与强化学习等多种机器人算法验证。

背景与挑战

背景概述

在机器人技术迅猛发展的时代背景下，so100_lego数据集作为LeRobot项目的重要组成部分应运而生。该数据集由HuggingFace团队基于Apache 2.0许可协议构建，专门面向机器人操作任务的研究需求。其核心价值在于通过六自由度机械臂的动作轨迹与多视角视觉观测数据，为机器人模仿学习算法提供标准化验证基准。数据集包含20个完整操作序列、11149帧同步记录数据，以及来自顶部摄像头与机械臂摄像头的双视角视频流，有效推动了机器人感知与控制一体化研究的发展进程。

当前挑战

该数据集致力于解决机器人操作任务中的动作规划与视觉感知协同挑战，具体体现在高维连续动作空间与多模态感知数据的对齐难题。构建过程中面临三大技术瓶颈：多传感器时序同步要求达到毫秒级精度，六关节机械臂动作数据的坐标系统一与标准化处理，以及双视角视频数据在压缩存储与实时解码间的平衡。这些挑战直接关系到模仿学习模型在真实场景中的泛化能力与部署效率。

常用场景

经典使用场景

在机器人学习领域，so100_lego数据集作为LeRobot项目的重要组成部分，为模仿学习算法的开发提供了关键支持。该数据集通过记录机械臂执行任务时的多模态数据，包括关节角度、图像观测和时间戳等信息，成为训练机器人执行精细操作任务的理想基准。研究人员能够利用这些连续的动作-观测序列，构建从视觉输入到运动输出的映射模型，推动机器人自主决策能力的发展。

解决学术问题

该数据集有效解决了机器人模仿学习中样本效率低下的核心难题。通过提供包含11149帧的高质量演示数据，显著降低了策略学习对真实世界交互的依赖。其精心设计的六维动作空间与双视角视觉观测相结合，为研究跨模态表示对齐、时序动作预测等关键问题提供了实验基础，有力促进了端到端机器人控制范式的理论突破。

衍生相关工作

该数据集催生了系列创新研究，包括基于时空注意力的行为克隆框架和分层强化学习架构。众多研究团队利用其丰富的动作-视觉对应关系，开发出具有时序建模能力的神经网络模型。这些衍生工作不仅拓展了数据驱动机器人控制的边界，还为开源机器人社区贡献了可复现的算法基准，形成了持续演进的技术生态。