insert_wire_prompt_2

该数据集使用LeRobot技术创建，包含50个剧集，共30196帧，1个任务，150个视频，1个片段，每个片段1000帧。数据集的帧率为30fps，目前只提供了训练集分割。数据集包含机器人行动、状态、底部摄像头图像、侧面摄像头图像、顶部摄像头图像、时间戳、帧索引、剧集索引、索引和任务索引等多种特征。所有视频均为无音频的av1编码格式。

原始信息汇总

数据集概述

基本信息

• 名称: insert_wire_prompt_2
• 许可协议: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总任务数: 1
• 总剧集数: 50
• 总帧数: 30196
• 总视频数: 150
• 数据块数: 1
• 数据块大小: 1000
• 帧率: 30 fps
• 分割: 训练集 (0:50)

数据特征

动作特征

• 名称: action
• 数据类型: float32
• 形状: [6]
• 维度名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 名称: observation.state
• 数据类型: float32
• 形状: [6]
• 维度名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

底部摄像头

• 名称: observation.images.bottom_cam
• 数据类型: video
• 形状: [600, 800, 3]
• 维度名称:
  • height
  • width
  • channels
• 视频信息:
  • 高度: 600
  • 宽度: 800
  • 编解码器: av1
  • 像素格式: yuv420p
  • 深度图: false
  • 帧率: 30
  • 通道数: 3
  • 音频: false

侧面摄像头

• 名称: observation.images.side_cam
• 数据类型: video
• 形状: [600, 800, 3]
• 维度名称:
  • height
  • width
  • channels
• 视频信息:
  • 高度: 600
  • 宽度: 800
  • 编解码器: av1
  • 像素格式: yuv420p
  • 深度图: false
  • 帧率: 30
  • 通道数: 3
  • 音频: false

顶部摄像头

• 名称: observation.images.top_cam
• 数据类型: video
• 形状: [600, 800, 3]
• 维度名称:
  • height
  • width
  • channels
• 视频信息:
  • 高度: 600
  • 宽度: 800
  • 编解码器: av1
  • 像素格式: yuv420p
  • 深度图: false
  • 帧率: 30
  • 通道数: 3
  • 音频: false

元数据特征

• timestamp: float32, 形状 [1]
• frame_index: int64, 形状 [1]
• episode_index: int64, 形状 [1]
• index: int64, 形状 [1]
• task_index: int64, 形状 [1]

技术信息

• 代码库版本: v2.1
• 机器人类型: so101_follower
• 数据路径格式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径格式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

创建信息

• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

搜集汇总

数据集介绍

构建方式

在机器人操作任务的数据采集中，insert_wire_prompt_2数据集依托LeRobot框架系统性地构建。该数据集通过SO101型跟随机器人执行单一任务，采集了50段完整操作序列，总计30196帧数据，并以30fps的帧率同步记录多视角视觉信息与关节状态。数据以分块形式存储于Parquet格式文件中，每块包含1000帧，确保了高效存取与处理。

特点

该数据集显著特点在于其多模态结构与高精度时序对齐。它同步提供底部、侧面及顶部三个视角的高清视频流，分辨率均为800×600，采用AV1编码压缩。动作空间涵盖六自由度机械臂的关节位置与夹爪状态，观测状态则对应相同维度的实时反馈。所有数据均附带精确的时间戳与帧索引，支持复杂策略的端到端学习与验证。

使用方法

研究者可借助LeRobot工具链直接加载该数据集，其标准化的Parquet格式与清晰的特征定义支持快速迭代。每一帧数据包含多摄像头图像、关节状态、动作向量及元数据，适用于模仿学习、强化学习或跨模态表征研究。数据集默认划分为训练集，涵盖全部50个序列，用户可进一步按需划分验证集以评估模型泛化能力。

背景与挑战

背景概述

机器人操作任务数据集insert_wire_prompt_2由LeRobot研究团队构建，专注于多视角视觉感知与机械臂控制策略的协同学习。该数据集采集自so101_follower机器人平台，包含50个完整操作序列和超过3万帧多模态数据，通过底部、侧部和顶部三个高清摄像头同步记录操作场景，同时精确采集六自由度机械臂的关节位置与夹持器状态。这类数据集为机器人模仿学习与强化学习算法提供了宝贵的真实世界交互数据，推动了机器人自主操作能力的发展。

当前挑战

该数据集核心挑战在于解决多模态时序数据的对齐与融合问题，需同步处理三路高清视频流与高精度控制信号的时间一致性。构建过程中面临传感器校准、数据存储优化和实时采集稳定性的技术难题，特别是每秒30帧的多路视频编码与6维动作数据的精确时间戳对齐。此外，大规模操作数据的标注与质量验证需要开发自动化管道来确保数据集的可靠性与一致性。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过多视角视觉观测与关节状态数据，为模仿学习与强化学习算法提供训练基础。其经典应用场景包括机械臂轨迹规划与抓取任务，研究者可利用六自由度关节动作数据与三路摄像头视频流，构建从视觉感知到运动控制的端到端学习框架。

解决学术问题

该数据集有效解决了机器人操作任务中高维状态空间下的策略泛化问题，通过提供结构化关节控制指令与同步多模态观测数据，支持基于视觉的强化学习算法开发。其意义在于建立了真实物理环境与算法训练间的桥梁，为机器人操作技能的自主学习提供了标准化评估基准。

衍生相关工作

基于该数据格式衍生了多项经典研究，包括基于时空注意力的操作策略网络、多视角视觉特征融合架构以及跨任务迁移学习框架。这些工作显著提升了机械臂在部分可观测环境中的操作精度，推动了行为克隆与在线自适应算法的协同发展，为机器人操作学习建立了新的技术范式。