record-tilt-cookies-06

LeRobot数据集是一个包含机器人动作和观察数据的集合，用于机器人学习和研究。数据集包含5个剧集，总计1404帧，1个任务，数据以Parquet格式存储，视频以AV1编码的MP4格式存储。数据集提供包括肩膀、肘部、手腕和抓握器的位置信息在内的多种特征，以及顶部和腕部的图像数据。数据集适用于机器人控制相关的学习和研究。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot

数据集规模

• 总任务数: 1
• 总回合数: 5
• 总帧数: 1404
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 分块大小: 1000
• 代码库版本: v3.0
• 机器人类型: so101_follower

数据分割

• 训练集: 0:5

数据结构

数据文件路径

• data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet

视频文件路径

• videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征描述

动作特征

• 数据类型: float32
• 维度: 6
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态特征

• 数据类型: float32
• 维度: 6
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

顶部摄像头图像

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30
• 非深度图
• 无音频

腕部摄像头图像

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30
• 非深度图
• 无音频

元数据特征

• 时间戳: float32, 维度1
• 帧索引: int64, 维度1
• 回合索引: int64, 维度1
• 索引: int64, 维度1
• 任务索引: int64, 维度1

引用信息

• 主页: 信息缺失
• 论文: 信息缺失
• BibTeX引用: 信息缺失

搜集汇总

数据集介绍

构建方式

该数据集借助LeRobot开源框架，在机器人操作任务场景中系统采集多模态数据。通过SO101型跟随机器人执行单一任务，以30帧/秒的采样频率记录5个完整操作片段，形成1404帧时序数据。数据以分块存储的Parquet格式组织，每个数据块包含机器人的关节状态、动作指令及双视角视觉信息，确保数据采集的完整性与可追溯性。

特点

数据集涵盖机器人操作任务中的多维度观测特征，包含六自由度关节位置的状态与动作空间，以及顶部与腕部双视角的RGB视频流。视频数据采用AV1编码压缩，分辨率达640×480，在保证视觉细节的同时优化存储效率。数据集通过时间戳与帧索引实现精确的时序对齐，为模仿学习与强化学习算法提供结构化的训练基础。

使用方法

研究者可通过加载Parquet数据文件直接获取机器人的状态-动作对及关联视觉序列。数据集已预划分为训练集，支持按分块索引动态加载。利用LeRobot工具链可解析视频路径与传感器数据，实现端到端的策略学习 pipeline。该结构特别适用于关节空间控制、视觉运动策略等机器人学习任务的基准测试。

背景与挑战

背景概述

机器人学习领域近年来在模仿学习与强化学习融合方面取得显著进展，record-tilt-cookies-06数据集作为LeRobot项目的重要组成部分，聚焦于机械臂操作任务的动态环境适应问题。该数据集通过集成六自由度机械臂的关节位置控制与多视角视觉感知，构建了包含1404帧连续动作-观测序列的演示数据，其特有的顶部与腕部双视角视频流为研究视觉-动作映射关系提供了丰富模态。

当前挑战

在机器人操作任务领域，该数据集需解决高维连续动作空间与多模态感知对齐的核心难题，具体体现在机械臂轨迹规划中动态避障与精细抓取的协同优化。数据构建过程中面临多传感器时序同步精度的技术瓶颈，同时双视角视频数据的大规模存储与实时处理对计算架构提出严峻考验，动作示教数据的稀疏性亦限制了策略泛化能力的提升。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过记录机械臂执行倾斜饼干抓取任务的完整轨迹，为模仿学习算法提供了标准化的训练素材。其多模态数据融合了关节位置状态与双视角视觉信息，能够有效支撑端到端策略网络的训练过程，成为机器人技能迁移研究的重要基准。

实际应用

在工业自动化场景中，该数据集可直接应用于食品分拣系统的智能升级。基于数据集训练的视觉伺服控制系统能够适应不同倾斜角度的饼干抓取任务，显著提升生产线的分拣效率与鲁棒性，为柔性制造提供了可靠的技术验证平台。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究，包括基于时空注意力的抓取轨迹预测模型、多视角视觉特征融合网络等经典工作。这些研究通过挖掘数据集中蕴含的时序关联与空间约束，推动了机器人感知-动作闭环控制理论的纵深发展。