record-tilt-cookies-01

这是一个关于机器人学的数据集，使用LeRobot工具创建。数据集包含5个总的剧集，2238个总帧数，和1个总任务。数据集的结构详细描述了机器人类型、数据文件和视频文件的大小、帧率、以及数据分割等信息。数据集的特征包括动作和观察，具体包括肩部、肘部、手腕的位置和抓握器的位置。视频和图像特征也进行了详细描述，包括高度、宽度、通道数、编解码器、像素格式等信息。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot

数据集结构

• 总任务数: 1
• 总回合数: 5
• 总帧数: 2238
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 代码库版本: v3.0
• 机器人类型: so101_follower
• 数据分块大小: 1000
• 数据分割: 训练集包含全部5个回合

数据文件路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征结构

动作特征

• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态

• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

顶部摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图: false
• 帧率: 30 FPS
• 音频: 无

腕部摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图: false
• 帧率: 30 FPS
• 音频: 无

索引特征

• 时间戳: float32 [1]
• 帧索引: int64 [1]
• 回合索引: int64 [1]
• 数据索引: int64 [1]
• 任务索引: int64 [1]

引用信息

• 主页: 信息缺失
• 论文: 信息缺失
• BibTeX引用: 信息缺失

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据集的构建往往依赖于实际物理系统的交互记录。该数据集通过LeRobot平台采集，采用so101_follower型机器人执行单一任务，共录制5个完整交互片段，涵盖2238帧数据。数据以分块形式存储于parquet文件中，每块包含1000帧，同时配备同步录制的多视角视频流，帧率为30fps，确保动作与观察数据的时序一致性。

特点

该数据集在机器人操作任务中展现出多维度的数据特征。其核心包含六自由度关节位置的动作指令与状态观测，覆盖肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪开合等关键运动维度。视觉数据提供顶部与腕部双视角的RGB图像，分辨率达640x480，采用AV1编码压缩，有效平衡存储效率与图像质量。数据索引结构完善，包含时间戳、帧索引与任务标识，支持精细的时序分析与任务建模。

使用方法

针对机器人模仿学习的研究需求，该数据集可通过标准数据加载流程进行调用。用户可依据meta/info.json中的路径规范，按分块索引读取parquet格式的结构化数据，同步解析对应视频文件。训练集涵盖全部5个交互片段，可直接用于行为克隆或强化学习算法的训练。数据字段包含动作空间、关节状态观测、双视角视觉输入及元数据，支持端到端的策略网络训练与多模态感知模型开发。

背景与挑战

背景概述

机器人操作任务数据集作为强化学习研究的重要载体，record-tilt-cookies-01由HuggingFace的LeRobot项目构建，专注于机械臂动作控制与视觉感知的协同学习。该数据集通过SO101型跟随机器人采集多模态数据，涵盖关节位置控制与双视角视觉输入，旨在解决复杂环境下机器人精细操作策略的泛化问题。其结构化存储框架与时间序列标注机制，为模仿学习与端到端控制算法提供了标准化验证基准。

当前挑战

该数据集需应对机器人操作任务中动作空间连续性与视觉感知对齐的经典难题，具体体现为六自由度机械臂轨迹平滑性与多视角图像时序一致性的建模挑战。在构建过程中，面临传感器同步精度不足导致的动作-观测对齐偏差，以及高分辨率视频流与关节状态数据的大规模并行存储压力，需通过分块压缩与元数据索引优化实现高效存取。

常用场景

经典使用场景

在机器人学习领域，该数据集通过记录机械臂关节位置与多视角视觉数据，为模仿学习算法提供了丰富的训练素材。其包含的肩部平移、升降及手腕旋转等六维动作轨迹，配合顶部与腕部摄像头采集的实时环境图像，能够有效模拟真实场景下的物体抓取任务，成为机器人动作策略优化的基准测试平台。

解决学术问题

该数据集主要应对机器人动作生成中的状态-动作映射难题，通过同步记录关节空间坐标与视觉观察序列，为深度强化学习模型提供结构化标注。其多模态特性解决了传统方法中感知与控制模块割裂的问题，显著提升了端到端策略网络的泛化能力，推动了具身智能在动态环境中的自适应研究。

衍生相关工作

基于该数据集的特性，学界衍生出多项创新研究。例如结合时空注意力机制的行为克隆框架，通过并行处理关节运动序列与视觉特征，显著提升了动作预测精度。另有研究利用其多视角视频数据开发跨模态表示学习模型，为机器人触觉-视觉融合感知奠定了理论基础。