record-tilt-cookies-03

这是一个关于机器人学的数据集，包含了5个剧集，共1657帧，1个任务。数据集以Apache-2.0许可证发布，使用了LeRobot工具创建。数据集包含多种特征信息，如动作、状态、图像等，适用于机器人学相关的研究和开发。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot

数据集规模

• 总任务数: 1
• 总片段数: 5
• 总帧数: 1657
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB

数据结构

• 数据格式: Parquet文件
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分块大小: 1000
• 训练集划分: 0:5

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 维度: 6
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 名称: observation.state
• 数据类型: float32
• 维度: 6
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

顶部摄像头:

• 名称: observation.images.top
• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS

腕部摄像头:

• 名称: observation.images.wrist
• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS

索引特征

• 时间戳: float32, 维度1
• 帧索引: int64, 维度1
• 片段索引: int64, 维度1
• 任务索引: int64, 维度1
• 全局索引: int64, 维度1

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower
• 视频属性:
  • 无音频
  • 非深度图

搜集汇总

数据集介绍

构建方式

在机器人技术领域，record-tilt-cookies-03数据集通过LeRobot平台系统采集，采用SO101跟随机器人执行单一任务，记录5个完整交互片段。数据以分块形式存储于Parquet文件中，每块包含1000帧，总帧数达1657，帧率为30fps，确保时序连贯性。构建过程整合了多模态传感器数据，包括关节状态和双视角视觉信息，为机器人学习提供结构化基础。

特点

该数据集突出多源异构数据融合，涵盖6维关节位置的动作与状态观测，以及顶部和腕部双摄像头采集的480x640分辨率RGB视频流。数据以标准化浮点格式存储，支持高效并行处理；视频采用AV1编码压缩，平衡质量与存储需求。其独特之处在于完整保留机器人操作时序上下文，帧索引与时间戳精确对齐，便于复现动态交互过程。

使用方法

研究者可通过加载Parquet数据文件直接访问结构化特征，利用帧索引实现跨模态数据同步。训练集涵盖全部5个交互片段，支持端到端模仿学习或强化学习算法开发。视频数据可通过指定路径动态解码，结合关节状态数据构建状态-动作映射。该数据集兼容主流机器人学习框架，为具身智能研究提供即用型基准。

背景与挑战

背景概述

在机器人学习领域，高质量示范数据的稀缺性长期制约着策略泛化能力的发展。record-tilt-cookies-03数据集由HuggingFace团队通过LeRobot开源框架构建，聚焦于机械臂操作任务的多模态数据采集。该数据集通过集成关节状态感知与双视角视觉反馈，完整记录了SO101型跟随机器人在执行饼干倾斜任务时的动态轨迹，其包含的1657帧时序数据为模仿学习与端到端控制算法提供了结构化训练样本。

当前挑战

该数据集致力于解决机器人精细操作中的动作映射难题，其核心挑战在于机械臂六自由度运动与视觉观测的高维对齐问题。构建过程中面临多传感器时序同步的技术瓶颈，需协调关节编码器与双路视频流的数据采集频率。此外，有限的任务场景与样本规模对模型泛化能力提出考验，而原始数据中缺失的论文与主页信息亦为学术溯源带来困难。

常用场景

经典使用场景

在机器人学习领域，record-tilt-cookies-03数据集通过记录机械臂执行任务时的多模态数据，为模仿学习算法的训练提供了重要支撑。该数据集包含1657帧机械臂操作数据，涵盖肩部平移、肩部抬升、肘部弯曲等六个关节的位置信息，配合顶部和腕部双视角视觉观测，能够完整再现机械臂执行饼干拾取任务的全过程。研究人员可利用这些同步记录的动作序列与视觉信息，构建端到端的机器人控制策略。

实际应用

在工业自动化场景中，该数据集支持开发智能分拣系统的核心技术。基于数据驱动的机械臂控制方法可应用于食品加工、电子产品组装等需要精细操作的领域。通过迁移学习技术，训练得到的模型能够适应不同形状、质地的物体抓取任务，显著提升生产线的灵活性与智能化水平。这种基于真实机器人操作数据的学习范式，为传统工业机器人向自适应、智能化的新一代机器人转型提供了技术路径。

衍生相关工作

围绕该数据集衍生的研究工作主要集中在机器人技能迁移领域。学者们基于其提供的多模态交互数据，开发了多种行为克隆与逆强化学习算法，实现了从演示数据到控制策略的有效转化。这些方法通过提取操作序列中的关键特征，建立了视觉感知与运动控制之间的映射关系。后续研究进一步探索了跨任务泛化能力，将饼干拾取任务中学习到的技能迁移至其他类似操作场景，推动了机器人终身学习框架的发展。