move_rabbit2bear_lab

这是一个关于机器人任务的数据集，包含了50个剧集，共计22291帧，100个视频文件。数据集分为训练集和一个任务类型。每个视频文件都有对应的Parquet格式数据文件，包含动作、状态、侧视图和俯视图等多个特征。所有视频的分辨率为360x640，使用av1编码，格式为yuv420p，无音频，帧率为30。

原始信息汇总

数据集概述

基本信息

• 名称: move_rabbit2bear_lab
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总任务数: 1
• 总情节数: 50
• 总帧数: 22291
• 总视频数: 100
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割: 训练集 (0:50)

数据文件

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

动作特征

• 名称: action
• 数据类型: float32
• 形状: [6]
• 维度名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 名称: observation.state
• 数据类型: float32
• 形状: [6]
• 维度名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

侧面图像观测

• 名称: observation.images.side
• 数据类型: video
• 形状: [360, 640, 3]
• 维度名称:
  • height
  • width
  • channels
• 视频信息:
  • 高度: 360
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 包含音频: false

顶部图像观测

• 名称: observation.images.top
• 数据类型: video
• 形状: [360, 640, 3]
• 维度名称:
  • height
  • width
  • channels
• 视频信息:
  • 高度: 360
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 包含音频: false

元数据特征

• timestamp: float32, 形状[1]
• frame_index: int64, 形状[1]
• episode_index: int64, 形状[1]
• index: int64, 形状[1]
• task_index: int64, 形状[1]

技术信息

• 代码库版本: v2.1
• 机器人类型: so101_follower

创建信息

• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

搜集汇总

数据集介绍

构建方式

在机器人操作任务数据采集领域，move_rabbit2bear_lab数据集通过LeRobot框架系统构建，采用so101_follower型机器人执行单一任务场景下的连续操作。数据采集过程涵盖50个完整事件片段，总计22291帧图像，以30fps的帧率同步记录多模态信息，包括六维关节动作指令、双视角视觉观测及时间戳元数据，并以标准化parquet格式分块存储确保数据完整性。

使用方法

研究者可通过解析parquet数据文件获取结构化观测-动作对，利用帧索引实现多模态数据同步。视频数据以AV1编码存储，需通过指定路径加载MP4格式的视觉观测流。该数据集适用于端到端机器人策略学习、行为克隆及逆强化学习任务，训练集包含全部50个事件片段，可通过LeRobot代码库v2.1版本配套工具链实现数据流水线集成与模型训练。

背景与挑战

背景概述

机器人学习领域近年来在模仿学习与强化学习方面取得显著进展，move_rabbit2bear_lab数据集作为LeRobot项目的重要组成部分，专注于机械臂操作任务的示范数据收集。该数据集采用so101_follower型机器人平台，包含50个完整操作序列与超过22000帧多模态观测数据，通过顶部与侧方双视角视频流及六维关节状态信息，为机器人动作生成与策略学习提供高质量训练样本。其构建遵循Apache 2.0开源协议，体现了学术界对机器人数据共享生态的积极推动。

当前挑战

该数据集致力于解决机械臂精细操作中的动作模仿与策略泛化问题，其核心挑战在于高维连续动作空间下的精确轨迹复现与多视角视觉感知的时空对齐。构建过程中面临多传感器数据同步采集的技术难题，需确保30fps视频流与关节编码器数据的时间戳精确匹配。此外，真实环境下的光照变化、遮挡干扰以及机械系统固有延迟，均为数据质量保障带来显著挑战，要求精密的时间校准算法与噪声过滤机制。

常用场景

经典使用场景

在机器人操作学习领域，move_rabbit2bear_lab数据集通过记录六自由度机械臂的关节位置与多视角视觉数据，为模仿学习算法提供了丰富的训练素材。其经典应用场景包括机械臂轨迹生成与物体抓取任务，研究者可利用该数据集训练端到端的策略网络，使机器人能够从视觉输入直接映射到关节控制指令。

解决学术问题

该数据集有效解决了机器人视觉运动控制中的多模态感知与动作生成问题，为研究视觉-动作对应关系提供了标准化基准。通过提供同步的多视角视频与精确的关节运动数据，它支持学术界探索基于视觉的强化学习、行为克隆等方法的性能边界，显著推动了具身智能领域的算法验证与比较研究。

实际应用

工业自动化场景中，该数据集可直接应用于机器人分拣、装配等任务的算法开发。通过预训练视觉运动模型，能够降低机器人对精密传感器的依赖，实现基于普通摄像头的精准操作。物流仓储领域的智能拣选系统亦可利用此类数据提升对不规则物体的抓取成功率。

数据集最近研究

最新研究方向

在机器人操作学习领域，move_rabbit2bear_lab数据集凭借其多视角视觉观测与六自由度机械臂动作的同步记录，正成为模仿学习与强化学习算法验证的重要基准。该数据集通过侧视与俯视双摄像头捕捉的高帧率视频流，结合精确的关节位置控制信号，为三维空间中的物体抓取与放置任务提供了丰富的时空关联数据。当前研究聚焦于跨视角表征学习与动作预测模型的融合，旨在解决真实场景中视角变化带来的域适应挑战。随着具身智能研究的升温，此类高质量示教数据正推动端到端机器人控制范式从仿真向真实环境迁移，为家庭服务机器人的自主操作能力提升奠定数据基础。