record-tilt-cookies-02

这是一个使用LeRobot创建的机器人数据集，包含5个剧集，共计1931帧，1个任务。数据集以Apache-2.0许可证发布。数据集中的每个文件包含动作、观测状态、顶部和手腕的图像、时间戳、帧索引、剧集索引、索引和任务索引等信息。数据集目前仅包含训练集分割。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot

数据集规模

• 总任务数: 1
• 总回合数: 5
• 总帧数: 1931
• 帧率: 30 FPS
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB

数据结构

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据分割: 训练集包含所有5个回合

特征描述

动作特征

• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

• 状态观测:

  • 数据类型: float32
  • 维度: [6]
  • 包含与动作相同的6个关节位置

• 图像观测:

  • 顶部摄像头:
    • 数据类型: 视频
    • 分辨率: 480×640×3
    • 视频编码: AV1
    • 像素格式: yuv420p
    • 非深度图
    • 无音频
  • 腕部摄像头:
    • 与顶部摄像头具有相同的技术规格

索引特征

• 时间戳: float32[1]
• 帧索引: int64[1]
• 回合索引: int64[1]
• 数据索引: int64[1]
• 任务索引: int64[1]

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据采集的精确性对模型训练至关重要。本数据集借助LeRobot平台，通过so101_follower型机器人执行单一任务，记录了5个完整交互序列，涵盖1931帧数据。采用分块存储机制，每1000帧数据封装为parquet格式文件，确保高效存取与处理。数据采集频率设定为30fps，同步捕获机器人关节位置状态与双视角视觉信息，构建了多模态时序数据集。

特点

该数据集展现了机器人操作任务中的多维特征体系。动作空间包含六自由度关节位置控制指令，观测状态则同步记录相应关节角度反馈，形成闭环控制验证基础。视觉模块集成顶部与腕部双视角RGB视频流，均以480×640分辨率呈现，采用AV1编码压缩。时序标识体系完整，包含帧索引、回合编号与时间戳，支持复杂行为模式分析。数据规模控制在合理范围内，既保证研究价值又便于分布式处理。

使用方法

针对机器人学习研究需求，数据集采用标准化调用流程。通过解析meta/info.json配置文件可获取完整数据结构定义，特征张量包含动作指令、状态观测与视觉流等多维度信息。训练集涵盖全部5个交互回合，可直接加载parquet文件进行端到端策略学习。视频数据按关键帧分块存储，支持异步加载与实时渲染。研究者可依据特征名称索引特定传感器数据，结合时间戳实现多模态数据对齐，为模仿学习与强化学习算法提供完整实验基础。

背景与挑战

背景概述

在机器人学习领域，高质量示范数据对策略泛化能力具有关键作用。record-tilt-cookies-02数据集基于LeRobot开源框架构建，采用so101_follower型机器人平台，通过多模态传感器记录机械臂关节状态与视觉观测数据。该数据集包含5个完整任务序列，涵盖1931帧时序数据，以30Hz采样频率同步采集肩部平移、肩部抬升、肘部弯曲等六自由度关节控制信号，配合顶部与腕部双视角RGB视频流，为模仿学习与行为克隆研究提供结构化交互数据支撑。

当前挑战

机器人操作任务面临动作空间连续性与视觉感知对齐的双重挑战，需解决从高维观测到精确关节控制的映射问题。数据集构建过程中需克服多传感器时序同步精度控制、机械臂轨迹平滑度保持、以及视觉数据压缩存储等技术难点。当前数据规模有限且任务单一，对复杂场景的泛化能力验证仍存在约束，亟需扩展多样化任务场景以提升模型适应性。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过记录机械臂关节位置与多视角视觉数据，为模仿学习算法提供了标准化的训练资源。其包含的肩部平移、升降及手腕旋转等六自由度动作轨迹，配合顶部与腕部摄像头采集的同步图像序列，能够有效支撑从演示数据中提取操作策略的研究工作。

衍生相关工作

基于该数据集的特性，已催生出多模态表征学习框架的改进研究，例如结合图卷积网络的动作语义解析方法。同时启发了跨模态注意力机制在机器人操作任务中的应用探索，为后续开发融合视觉特征与动力学约束的混合控制策略奠定了数据基础。

数据集最近研究

最新研究方向

在机器人操作学习领域，record-tilt-cookies-02数据集凭借其多模态观测与关节动作的精细记录，正推动模仿学习与视觉运动控制的前沿探索。该数据集通过顶部与腕部双视角视频流，结合六自由度机械臂的连续状态轨迹，为具身智能研究提供了真实环境下的交互范例。当前研究聚焦于跨模态表征对齐、动作序列预测及样本效率提升等核心问题，尤其在端到端策略学习与仿真到实物的迁移应用中展现出重要价值。随着开源社区对机器人数据标准化需求的增长，此类结构化数据集正成为推动通用操作技能发展的关键基础设施。