record-tilt-cookies-05

该数据集是一个与机器人学相关的数据集，包含多个剧集和帧，提供了机器人的关节位置信息以及从不同视角捕获的图像。数据集按照Apache-2.0协议发布。

原始信息汇总

数据集概述

基本信息

• 名称: record-tilt-cookies-05
• 任务类别: 机器人技术
• 标签: LeRobot
• 许可证: Apache-2.0
• 创建工具: LeRobot

数据集规模

• 总情节数: 5
• 总帧数: 1650
• 总任务数: 1
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS

数据结构

数据配置

• 配置名称: default
• 数据文件格式: Parquet
• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分块大小: 1000
• 训练集划分: 0:5

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测:

• 名称: observation.state
• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测: 顶部摄像头:

• 名称: observation.images.top
• 数据类型: video
• 分辨率: 480×640×3
• 视频属性:
  • 编码格式: av1
  • 像素格式: yuv420p
  • 帧率: 30
  • 非深度图
  • 无音频

腕部摄像头:

• 名称: observation.images.wrist
• 数据类型: video
• 分辨率: 480×640×3
• 视频属性:
  • 编码格式: av1
  • 像素格式: yuv420p
  • 帧率: 30
  • 非深度图
  • 无音频

索引特征

• 时间戳: float32, 维度[1]
• 帧索引: int64, 维度[1]
• 情节索引: int64, 维度[1]
• 索引: int64, 维度[1]
• 任务索引: int64, 维度[1]

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人技术领域，record-tilt-cookies-05数据集通过LeRobot平台构建，采用SO101型跟随机器人记录真实操作场景。数据采集过程涉及5个完整任务片段，总计1650帧，以30帧每秒的速率捕获多模态信息。数据以分块形式存储于Parquet文件中，每个块包含1000个数据点，确保高效访问与处理，同时整合了机器人关节状态与视觉观测的同步记录。

特点

该数据集突出多源异构数据融合，涵盖六维关节位置动作与状态观测，包括肩部平移、升降及肘腕关节角度等关键参数。视觉数据提供顶部与腕部双视角RGB图像，分辨率达640x480，采用AV1编码压缩以平衡质量与存储效率。数据结构支持时间序列分析，具备帧索引、片段标识等元数据，便于机器人控制策略的端到端学习与验证。

使用方法

研究人员可利用该数据集训练机器人模仿学习模型，通过加载Parquet格式数据解析动作-观测对序列。典型流程包括提取关节控制指令与对应视觉帧，构建状态-动作映射关系。数据集支持直接用于强化学习环境仿真，或结合PyTorch等框架实现行为克隆算法。视频流可通过指定路径解码，辅助多模态策略的视觉感知模块开发。

背景与挑战

背景概述

机器人学习领域近年来致力于通过真实环境交互数据推动策略泛化能力的发展，record-tilt-cookies-05数据集作为LeRobot项目框架下的具身智能研究资源，聚焦于多视角视觉感知与关节控制协同建模。该数据集采用SO101型仿生机械臂平台，通过顶部与腕部双摄像头同步采集480×640分辨率视频流，配合六自由度关节位置传感器构建时空连续的状态-动作对序列，其30帧/秒的采样频率完整保留了机械臂执行饼干倾斜任务时的动态特性。

当前挑战

在机器人操作任务泛化方面，该数据集需解决视觉-动作映射中的视角差异鲁棒性问题，以及关节空间轨迹在动态环境中的自适应规划挑战。数据构建过程中面临多模态时序对齐精度控制难题，既要保证视频流与关节传感器数据的毫秒级同步，又需克服机械臂运动学约束下的动作空间探索局限性，同时高维度视觉数据的实时压缩存储亦对计算架构提出严格要求。

常用场景

经典使用场景

在机器人操作学习领域，record-tilt-cookies-05数据集通过记录机械臂执行倾斜饼干任务的完整轨迹，为模仿学习算法提供了丰富的训练样本。该数据集包含多视角视觉观察与关节位置数据，能够有效支持端到端策略网络的训练，使机器人能够从人类演示中学习精细的操作技能。

衍生相关工作

受该数据集启发，学界涌现出多项基于时空注意力机制的模仿学习研究。其中分层强化学习方法通过解耦动作序列的时间依赖性，在类似数据集上实现了更高精度的轨迹复现。后续工作进一步探索了多任务联合训练框架，将饼干操作技能扩展至其他易碎物品的抓取任务。

数据集最近研究

最新研究方向

在机器人操作学习领域，该数据集通过多模态感知数据推动模仿学习与强化学习的融合研究。当前前沿聚焦于利用关节状态与双视角视觉信息构建端到端策略网络，结合时序建模技术解决动态环境下的抓取任务泛化问题。随着具身智能研究热潮兴起，此类包含真实物理交互记录的数据集正成为验证跨模态表征学习算法的重要基准，为机器人自主技能习得提供关键实验支撑。