lesandwich2-groot

这是一个关于机器人技术的数据集，包含83个剧集，4130帧，3个任务，166个视频，1个片段，每个片段包含1000帧。数据集以Parquet格式存储，并提供了相应的视频文件。数据集特征包括机器人的动作、状态、时间戳、索引以及主副图像等信息。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集结构

数据规模

• 总任务数: 3
• 总片段数: 83
• 总帧数: 4130
• 总视频数: 166
• 数据块数: 1
• 数据块大小: 1000
• 帧率: 60 FPS

数据划分

• 训练集: 全部83个片段

数据格式

• 数据文件: Parquet格式
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征结构

动作特征

• 数据类型: float32
• 维度: [6]
• 名称: motor_1, motor_2, motor_3, motor_4, motor_5, motor_6

观测状态

• 数据类型: float32
• 维度: [6]
• 名称: motor_1, motor_2, motor_3, motor_4, motor_5, motor_6

图像观测

• 主摄像头:

  • 类型: 视频
  • 分辨率: 1080×1920×3
  • 帧率: 60 FPS
  • 编码: avc1
  • 像素格式: yuv420p
  • 深度图: 否
  • 音频: 无

• 辅助摄像头0:

  • 类型: 视频
  • 分辨率: 1080×1920×3
  • 帧率: 60 FPS
  • 编码: avc1
  • 像素格式: yuv420p
  • 深度图: 否
  • 音频: 无

索引特征

• 时间戳: float32 [1]
• 片段索引: int64 [1]
• 帧索引: int64 [1]
• 任务索引: int64 [1]
• 索引: int64 [1]

技术信息

• 代码库版本: v2.1
• 机器人类型: so-101

搜集汇总

数据集介绍

构建方式

在机器人技术领域，lesandwich2-groot数据集通过LeRobot平台系统性地采集了83个完整交互片段，涵盖3种不同任务场景。数据以60帧/秒的高频率记录，包含4130个时间步的机器人状态与动作序列，采用分块存储机制将原始数据组织为Parquet格式文件，每个数据块容纳1000个交互帧，确保高效存取与处理。

特点

该数据集呈现出多维感知融合特性，不仅包含6自由度机械臂的关节角度与动作向量，还同步记录双路1080p高清视频流，分别从主视角与辅助视角捕捉环境动态。时序索引与任务标识的精确标注为研究提供了结构化支撑，视频数据采用H.264编码并保持60fps流畅度，为机器人模仿学习与行为分析建立了丰富的时空关联基础。

使用方法

研究者可通过解析Parquet文件直接获取机器人状态观测与动作指令，利用帧索引与时间戳重构完整任务轨迹。视频数据存储于独立MP4文件中，与运动数据通过分块编号和片段索引实现精准对齐。该数据集专为训练端到端机器人控制模型设计，支持从原始视觉输入到关节空间动作的映射学习，所有训练样本均集中于单一分割集以便开展系统性算法验证。

背景与挑战

背景概述

机器人学习领域近年来对高质量示范数据的需求日益增长，lesandwich2-groot数据集应运而生。该数据集由LeRobot研究团队基于Apache 2.0许可协议构建，专门面向多任务机器人操作研究。其核心价值在于收录了83个完整操作序列，涵盖4130个时序帧与3类典型任务，通过六自由度机械臂的运动控制与双视角视觉观测，为模仿学习与策略泛化研究提供了珍贵的数据支撑。该数据集采用标准化Parquet格式与高帧率视频流存储，体现了现代机器人学习数据集的系统化设计理念。

当前挑战

在机器人操作任务领域，该数据集需解决高维动作空间与视觉感知的协同建模难题，其六维连续动作空间对策略网络的精确控制提出严峻考验。构建过程中面临多模态数据对齐的技术挑战，包括60Hz高频视频流与机械臂状态数据的时序同步问题。双视角视觉数据虽能增强环境感知，但也显著增加了存储与计算复杂度。此外，有限的任务类别与样本规模可能制约模型在复杂场景下的泛化能力，如何通过数据增强与迁移学习突破规模限制成为关键研究方向。

常用场景

经典使用场景

在机器人学习领域，lesandwich2-groot数据集通过记录六自由度机械臂的连续动作轨迹与多视角视觉观测，为模仿学习算法提供了丰富的训练素材。其包含83个完整任务片段与4130帧高分辨率视频数据，能够有效支撑端到端策略网络的训练过程，特别适用于从视觉输入到关节控制指令的映射关系建模。

实际应用

基于该数据集训练的模型可直接应用于工业自动化场景中的精密装配任务，通过实时解析双视角视觉输入生成精确的关节控制指令。其60Hz高帧率视频流能有效捕捉快速动态过程，使得训练出的控制策略在真实世界的物件抓取、精细操作等场景中展现出卓越的适应性与鲁棒性。

衍生相关工作

该数据集作为LeRobot生态系统的组成部分，已催生多项基于深度强化学习的机器人控制研究。其标准化的数据格式与多模态特性启发了跨模态表示学习框架的发展，相关衍生工作包括基于时空注意力的行为克隆算法、多传感器融合的轨迹预测模型等，持续推动着机器人学习范式的革新。