v5_2moveToRedBook

这是一个使用LeRobot创建的机器人数据集，包含45个剧集，19546帧，1个任务，135个视频，数据集被分为1个块，每个块大小为1000。数据集包含行动、观察状态、正面左视图、正面右视图、手腕视图等多个特征，所有视频的帧率均为30。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总任务数: 1
• 总片段数: 45
• 总帧数: 19546
• 总视频数: 135
• 总块数: 1
• 块大小: 1000
• 帧率: 30
• 分割: 训练集（0:45）

数据格式

• 数据文件路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• 动作: 浮点32位，形状[3]，名称["x.vel", "y.vel", "theta.vel"]
• 观测状态: 浮点32位，形状[3]，名称["x.vel", "y.vel", "theta.vel"]
• 前左图像观测: 视频类型，形状[800,1280,3]，名称["height", "width", "channels"]
• 前右图像观测: 视频类型，形状[800,1280,3]，名称["height", "width", "channels"]
• 腕部图像观测: 视频类型，形状[640,480,3]，名称["height", "width", "channels"]
• 时间戳: 浮点32位，形状[1]
• 帧索引: 整型64位，形状[1]
• 片段索引: 整型64位，形状[1]
• 索引: 整型64位，形状[1]
• 任务索引: 整型64位，形状[1]

技术信息

• 代码库版本: v2.1
• 机器人类型: lekiwi_client
• 视频编解码器: av1
• 像素格式: yuv420p
• 深度图: 否
• 音频: 无

搜集汇总

数据集介绍

构建方式

在机器人技术领域，v5_2moveToRedBook数据集通过LeRobot框架系统性地采集了45个完整交互情景，涵盖19546帧多模态数据。数据以分块形式存储于Parquet格式文件中，每个情景包含来自前端双目摄像头及腕部摄像头的视频流，同步记录机器人的三维速度动作指令及状态观测值，时间戳与帧索引确保了时序一致性。

特点

该数据集的核心特征在于其多源异构传感器融合架构，提供1280x800分辨率的前端立体视觉与640x480腕部视角视频，均以30fps帧率编码为AV1格式。动作空间涵盖x、y轴向线速度及角速度控制指令，观测状态则同步映射相同物理量，支持端到端模仿学习与强化学习算法的训练与验证。

使用方法

研究者可通过加载Parquet数据文件直接获取帧序列与对应动作标签，利用视频路径索引调用MP4格式视频流。数据集默认划分为训练集，支持通过episode_index与frame_index实现精确数据定位，适用于行为克隆、时空预测模型等机器人学习任务，且兼容主流深度学习框架的多模态数据处理流程。

背景与挑战

背景概述

机器人学习领域近年来对大规模高质量数据集的需求日益增长，v5_2moveToRedBook数据集应运而生。该数据集由HuggingFace的LeRobot团队基于开源机器人学习框架构建，专注于移动机器人导航与操作任务。其核心研究在于通过多模态传感器数据（包括双前视摄像头和腕部摄像头视频流）记录机器人的运动状态与环境交互，为解决真实世界中的自主移动与任务执行问题提供重要数据支撑。数据集采用Apache 2.0开源协议，包含45个完整 episodes 和近两万帧多维数据，为机器人强化学习与模仿学习算法的发展奠定了坚实基础。

当前挑战

该数据集主要应对移动机器人在动态环境中实现精准导航与操作的挑战，包括速度控制、路径规划与避障等复杂问题。构建过程中面临多传感器时序同步、大规模视频数据压缩存储（采用AV1编解码器）以及多维度动作-观测空间对齐等技术难点。同时需要确保数据采集过程中机器人状态测量的精确性与一致性，处理高分辨率视频流（最高1280×800）带来的存储与传输压力，以及维持长达30fps的连续采样频率下的数据完整性。

常用场景

经典使用场景

在机器人行为学习领域，v5_2moveToRedBook数据集通过多视角视觉观测与动作序列的同步记录，为模仿学习与强化学习算法提供了标准化的训练环境。其包含的前置双目摄像头与腕部摄像头视频流，结合三维速度控制指令，能够有效支撑端到端策略网络的训练与验证。

实际应用

在实际场景中，该数据集可直接应用于家庭服务机器人的导航避障、目标抓取等任务优化。其包含的连续运动控制数据与多角度视觉反馈，为工业AGV小车的路径规划算法提供了真实的测试基准，显著提升了机器人在非结构化环境中的适应能力。

衍生相关工作

基于该数据集的特性，已有研究衍生出多模态融合的行为克隆框架与分层强化学习方案。例如采用时空注意力机制处理多视角视频序列的工作，以及结合自监督学习从视频数据中提取运动先验的方法，这些研究显著推动了机器人感知-控制一体化的发展。