record-tilt-cookies-01-06

该数据集是一个机器人学相关的数据集，包含30个剧集，共计10673帧，1个任务。数据集以剧集和帧为单位组织，包含机器人臂的位置信息以及摄像头图像等特征。数据存储为Parquet文件，并附带视频文件。该数据集遵循Apache-2.0许可。

原始信息汇总

数据集概述

基本信息

• 名称: record-tilt-cookies-01-06
• 任务类别: 机器人技术
• 标签: LeRobot
• 许可证: Apache-2.0
• 创建工具: LeRobot

数据集规模

• 总任务数: 1
• 总回合数: 30
• 总帧数: 10673
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS

数据结构

数据文件

• 格式: Parquet
• 路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet

视频文件

• 格式: MP4
• 路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 编码: AV1
• 像素格式: yuv420p

特征描述

动作特征

• 数据类型: float32
• 维度: 6
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 数据类型: float32
• 维度: 6
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

顶部摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 帧率: 30 FPS
• 色彩通道: 3
• 深度图: 否
• 音频: 无

腕部摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 帧率: 30 FPS
• 色彩通道: 3
• 深度图: 否
• 音频: 无

索引特征

• 时间戳: float32[1]
• 帧索引: int64[1]
• 回合索引: int64[1]
• 任务索引: int64[1]
• 全局索引: int64[1]

数据划分

• 训练集: 全部30个回合

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据采集的精确性对模型训练至关重要。该数据集通过LeRobot平台构建，采用SO101型跟随机器人执行单一任务，共记录30个完整操作片段，累计10673帧数据。数据以分块形式存储于Parquet格式文件中，每块包含1000帧，总数据量达100MB，同时配套500MB视频文件，帧率为30fps，确保时序连贯性。

特点

本数据集在机器人操作数据方面具有显著特性，其动作与观测状态均以6维浮点向量表征机械臂关节位置，涵盖肩部平移、肩部抬升、肘部弯曲及腕部多自由度运动。视觉观测包含顶部与腕部双视角480x640分辨率彩色视频流，采用AV1编码压缩。数据结构层次分明，通过时间戳、帧索引与片段索引实现多模态数据的精确对齐。

使用方法

针对机器人学习研究，该数据集可直接用于模仿学习与行为克隆算法训练。研究者可通过解析Parquet文件获取动作-观测对序列，结合同步视频流分析操作轨迹。数据已预分为训练集，支持端到端管道构建，利用帧索引机制可快速定位特定操作阶段，为关节空间控制与视觉运动策略研究提供完整实验基础。

背景与挑战

背景概述

在机器人学习领域，高质量示范数据对策略泛化能力具有决定性作用。record-tilt-cookies-01-06数据集由LeRobot平台构建，采用SO101型跟随机器人采集六自由度机械臂操作数据，包含30个完整任务序列与10673帧多模态观测记录。该数据集通过顶部与腕部双视角视觉传感器同步记录操作场景，配合关节空间动作参数，为模仿学习与行为克隆算法提供了结构化训练样本。其Apache 2.0开源协议促进了机器人学习社区的协作创新，为具身智能研究奠定了数据基础。

当前挑战

机器人操作任务面临动作空间高维连续控制的固有难题，需精确协调六关节运动以实现稳定抓取。数据集构建过程中需克服多传感器时序对齐的技术障碍，确保30Hz采集频率下机械臂状态与双路视频帧的严格同步。原始数据压缩存储时需平衡AV1编码效率与视觉特征保真度，同时维持480p分辨率下的操作细节可辨识性。多模态数据融合时还需解决异质数据流在分布式存储中的索引一致性挑战。

常用场景

经典使用场景

在机器人学习领域，该数据集通过记录机械臂执行倾斜饼干操作的多模态数据，为模仿学习算法提供了丰富的训练资源。其包含的关节位置、视觉观察和时间戳信息，能够支持端到端的策略学习模型构建，尤其适用于研究复杂环境下的动作序列生成问题。

衍生相关工作

基于该数据集的特性，已衍生出多项关于多视角视觉动作识别的经典研究。这些工作通过融合腕部与顶部摄像头的时空特征，开创了跨模态策略蒸馏的新范式，为后续的机器人操作知识迁移研究奠定了数据基础。

数据集最近研究

最新研究方向

在机器人操作学习领域，该数据集凭借其多模态观测与关节控制动作的同步记录特性，正成为模仿学习与强化学习算法验证的重要基准。前沿研究聚焦于视觉-动作映射的端到端模型构建，通过顶部与腕部双视角视频流解析复杂环境中的物体交互动态。当前热点探索方向涵盖跨模态表征对齐、样本效率优化策略，以及基于物理约束的动作序列生成，这些研究显著提升了机械臂在非结构化环境中的自适应操作能力，为工业自动化与服务机器人技术发展提供了关键数据支撑。