Imperio

该数据集是一个机器人任务的数据集，包含10个剧集，共计4254帧，1个任务，20个视频文件。数据集以Parquet文件格式存储动作和状态信息，并且包含两种类型的视频数据：手腕摄像头视频和网页摄像头视频。所有视频的帧率为30fps，编码格式为av1，分辨率为480x640，无音频。

原始信息汇总

Imperio数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 创建工具: LeRobot

数据集规模

• 总情节数: 10
• 总帧数: 4254
• 总任务数: 1
• 总视频数: 20
• 数据块数: 1
• 数据块大小: 1000
• 帧率: 30 FPS

数据划分

• 训练集: 0-10

数据结构

数据文件路径

• data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测:

• 名称: observation.state
• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测: 手腕摄像头:

• 名称: observation.images.wrist
• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 深度图: 否
• 音频: 无

网络摄像头:

• 名称: observation.images.webcam
• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 深度图: 否
• 音频: 无

索引特征

• 时间戳: timestamp (float32, [1])
• 帧索引: frame_index (int64, [1])
• 情节索引: episode_index (int64, [1])
• 索引: index (int64, [1])
• 任务索引: task_index (int64, [1])

技术信息

• 代码库版本: v2.1
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人技术领域，Imperio数据集依托LeRobot框架构建，采用结构化数据采集流程。该数据集包含10个完整任务片段，总计4254帧数据，以30帧每秒的速率记录。数据以分块形式存储于Parquet文件中，每个数据块容纳1000个连续帧，确保时序连贯性。机器人状态与动作数据采用浮点精度记录，涵盖六自由度机械臂的关节位置及夹爪状态，为机器人控制研究提供精准时序对齐的多模态数据源。

特点

该数据集在机器人感知与控制领域展现出显著特性，其多模态观测数据包含腕部摄像头与外部网络摄像头的双视角视频流，分辨率均为640×480像素。动作空间完整覆盖机械臂六个关节的位置控制指令，观测状态与动作维度保持严格一致。数据集采用高效视频编码格式存储视觉数据，所有特征均附带精确时间戳与帧索引，支持复杂行为克隆与强化学习算法的训练需求。

使用方法

研究人员可通过标准数据加载流程调用该数据集，所有训练数据均位于单一分割中。数据访问遵循分块索引机制，通过解析元数据中的路径模板可定位具体片段文件。每个数据帧包含同步的动作指令、关节状态观测、双视角视觉信息及时间元数据，适合端到端策略学习。用户可结合LeRobot工具链进行数据预处理，利用帧索引实现高效随机采样，或沿时间维度展开序列建模任务。

背景与挑战

背景概述

机器人学领域近年来在模仿学习方面取得显著进展，Imperio数据集作为LeRobot项目的重要组成部分，专注于机械臂操作任务的示范数据收集。该数据集采用Apache 2.0许可协议，通过SO101型跟随机器人记录了包含6自由度关节空间动作与多模态观测数据，其数据结构涵盖腕部摄像头与网络摄像头的视觉信息，以及精确的时间戳与任务索引，为机器人行为克隆与策略学习提供了标准化数据支撑。

当前挑战

在机器人操作任务领域，该数据集致力于解决高维连续动作空间下的精确控制难题，其构建过程面临多传感器时序对齐的技术挑战。数据采集环节需要同步处理关节位置数据与双视角视觉流，而视频编码与状态记录的实时性要求对系统架构提出严格标准，同时确保4254帧数据在时空维度上的连贯性也成为关键制约因素。

常用场景

经典使用场景

在机器人控制领域，Imperio数据集通过记录多关节机械臂的连续运动轨迹与多视角视觉反馈，为模仿学习算法提供了丰富的训练样本。其包含的6自由度关节位置控制信号与同步采集的腕部摄像头、外部监控视角视频，能够有效支撑端到端策略网络学习复杂操作任务的行为模式。

解决学术问题

该数据集显著缓解了机器人学习研究中真实世界数据稀缺的困境，其精确标注的关节状态序列与多模态观测数据，为验证动力学建模、状态估计等基础理论提供了基准。通过标准化数据格式与时间对齐机制，研究者能够系统评估不同算法在连续控制任务中的泛化能力与稳定性。

衍生相关工作

以该数据集为基石的研究催生了多项创新工作，包括基于时空特征的跨模态表示学习框架、结合模仿学习与强化学习的混合训练范式。这些成果通过利用数据集的结构化运动序列与视觉流对应关系，推动了机器人认知决策系统的演进与发展。