record-2cam-run1

这是一个使用LeRobot创建的机器人数据集，包含70个剧集，共计34759帧，专注于1个任务。数据集以Parquet文件格式存储，并包括相应的视频文件。数据集的特征包括机器人的动作、状态、顶部和手腕的图像信息等。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集结构

• 总情节数: 70
• 总帧数: 34,759
• 总任务数: 1
• 数据格式: Parquet文件
• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据分块大小: 1,000
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB

数据特征

动作特征

• 数据类型: float32
• 维度: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos
• 帧率: 30 FPS

观测状态

• 数据类型: float32
• 维度: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos
• 帧率: 30 FPS

图像观测

顶部摄像头

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 非深度图
• 无音频

腕部摄像头

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 非深度图
• 无音频

元数据特征

• 时间戳: float32 [1], 30 FPS
• 帧索引: int64 [1], 30 FPS
• 情节索引: int64 [1], 30 FPS
• 索引: int64 [1], 30 FPS
• 任务索引: int64 [1], 30 FPS

数据划分

• 训练集: 0-70 (全部数据)

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人技术领域，record-2cam-run1数据集通过LeRobot框架系统性地采集了真实环境下的机器人操作数据。该数据集包含70个完整任务片段，总计34759帧，以30帧每秒的速率记录。数据采用分块存储策略，每个块包含1000帧，并以Parquet格式保存，确保了高效的数据访问与处理。机器人状态与动作信息均以浮点型数组精确记录，涵盖了肩部、肘部、腕部及抓取器的六维位置参数，为机器人控制研究提供了详实的底层数据支撑。

特点

该数据集的核心特点在于其多模态数据融合架构，同步整合了机器人关节状态、双视角视觉信息与时间序列元数据。顶部与腕部摄像头分别以480x640分辨率的三通道视频流捕捉环境动态，配合30Hz的高频采样，完整再现了机器人操作场景。数据维度设计严谨，动作与状态特征均具备明确的物理含义，且通过统一的索引机制实现了跨模态数据的精确对齐。这种结构化的组织形式显著提升了数据在机器学习模型中的可用性与泛化能力。

使用方法

研究人员可通过LeRobot生态提供的标准化接口直接加载该数据集，其分块存储结构支持流式读取与并行处理。数据集默认划分为训练集（0-70片段），用户可依据帧索引、任务索引等元数据快速定位特定操作序列。对于机器人模仿学习任务，可联合利用关节状态观测值与双视角图像序列构建端到端训练样本；在强化学习场景中，动作空间与状态空间的规整维度为策略网络设计提供了便利。视频数据采用AV1编码压缩，在保证视觉质量的同时有效控制了存储开销。

背景与挑战

背景概述

机器人技术领域近年来在模仿学习方向取得显著进展，record-2cam-run1数据集作为LeRobot项目的重要组成部分，专为多视角机器人操作任务设计。该数据集通过双摄像头系统（顶部视角与腕部视角）同步采集机械臂关节状态与视觉观测数据，构建了包含70个完整交互序列的轨迹库。其核心研究目标在于解决机器人动作模仿中的状态感知与动作映射问题，为端到端机器人策略学习提供多模态数据支撑，对推动现实场景下的机器人自主操作能力具有重要价值。

当前挑战

该数据集主要应对机器人模仿学习中动作轨迹精确复现与多传感器时序对齐的双重挑战。在领域问题层面，需克服机械臂高维动作空间与视觉观测间的语义鸿沟，以及动态环境下动作策略的泛化性瓶颈。构建过程中面临多路高清视频流同步存储的技术难点，同时需保证6自由度关节轨迹数据与视觉帧间毫秒级精度的时间戳对齐，这对数据采集系统的实时性与存储架构提出了严苛要求。

常用场景

经典使用场景

在机器人学习领域，record-2cam-run1数据集凭借其双视角视觉观测与六维关节动作的同步记录特性，成为模仿学习算法的经典验证平台。研究者通过解析机械臂的关节位置轨迹与对应的顶部、腕部视觉流，能够复现示教任务中的动作序列，为行为克隆等算法提供多模态交互范本。

衍生相关工作

该数据集催生了系列机器人多模态学习研究，例如基于时空注意力机制的视觉动作联合建模方法，以及跨视角特征对齐的模仿学习框架。这些工作通过挖掘数据集中动作序列与双视角图像的潜在关联，发展了分层强化学习、元策略迁移等创新方向，持续推动着机器人技能泛化领域的理论突破。

数据集最近研究

最新研究方向

在机器人操作学习领域，record-2cam-run1数据集凭借其双视角视觉反馈与六自由度关节控制数据的深度融合，正推动模仿学习与视觉运动策略的前沿探索。该数据集通过顶部与腕部摄像头的同步视频流，结合精确的机械臂关节轨迹记录，为多模态感知与动作预测模型提供了关键训练基础。当前研究聚焦于跨视角视觉表征的时空对齐技术，旨在提升复杂场景下机器人抓取与轨迹规划的泛化能力。随着具身智能研究热潮的兴起，此类高精度时序数据已成为仿真到实境迁移学习的重要桥梁，对促进服务机器人自主操作能力的突破具有显著意义。