screwdriver_attach_panel_ls_080125_16_e8

这是一个使用LeRobot工具创建的数据集，包含了一个机器人执行螺丝刀跟随任务的8个剧集，共1823帧。数据集以Parquet格式存储，并包含24个视频文件。数据集中的特征包括动作、观测状态、螺丝刀图像、侧面图像、顶部图像、时间戳、帧索引、剧集索引、索引和任务索引等。

This is a dataset created using the LeRobot toolkit. It contains 8 episodes of a robot performing a screwdriver-following task, with a total of 1823 frames. The dataset is stored in Parquet format and includes 24 video files. The features included in the dataset are actions, observation states, screwdriver images, side images, top images, timestamps, frame indices, episode indices, indexes, and task indices.

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 代码库版本: v2.1
• 机器人类型: koch_screwdriver_follower

数据集结构

• 总任务数: 1
• 总视频数: 24
• 总帧数: 1823
• 总片段数: 1
• 片段大小: 1000
• 帧率: 30fps
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, screwdriver.vel
• 观测状态 (observation.state):
  • 数据类型: float32
  • 形状: [6]
  • 名称: 同动作特征
• 观测图像 (observation.images):
  • screwdriver, side, top:
    • 数据类型: video
    • 形状: [600, 800, 3]
    • 视频信息:
      • 高度: 600
      • 宽度: 800
      • 编解码器: av1
      • 像素格式: yuv420p
      • 非深度图
      • 帧率: 30fps
      • 通道数: 3
      • 无音频
• 其他特征:
  • timestamp: float32, 形状 [1]
  • frame_index: int64, 形状 [1]
  • episode_index: int64, 形状 [1]
  • index: int64, 形状 [1]
  • task_index: int64, 形状 [1]

分割信息

• 训练集: 0:8

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作任务的数据采集领域，本数据集通过LeRobot框架系统性地记录了机械臂执行面板螺丝安装任务的全过程。数据构建采用多视角视频捕捉与状态同步技术，以30帧每秒的采样率采集了8个完整操作序列，共计1823帧数据。每个数据点包含六维关节位置与螺丝刀速度的动作向量，以及来自顶部、侧方和螺丝刀视角的三路高清视频流，确保了操作轨迹与视觉环境的精确对齐。

特点

该数据集的核心特征体现在其多模态异构数据的深度融合与精细标注。动作空间完整覆盖肩部平移、肩部抬升、肘部弯曲、腕部弯曲及旋转等六自由度控制指令，观测空间则同步提供三路800×600像素的RGB视频流与对应的六维关节状态。时序索引机制通过帧序号、时间戳和回合索引实现精确数据对齐，为模仿学习与强化学习算法提供高一致性的训练样本。

使用方法

研究者可通过解析parquet格式的分块数据文件高效加载数据集，利用meta/info.json中的结构描述快速构建数据管道。训练时可按回合索引划分训练集，同步加载多视角视频流与机械臂状态数据。动作预测任务可直接使用六维连续动作空间，视觉导航任务则可融合三路视频输入，时空对齐特性支持端到端的行为克隆与逆强化学习算法验证。

背景与挑战

背景概述

机器人操作任务数据集在工业自动化领域具有重要研究价值，screwdriver_attach_panel_ls_080125_16_e8数据集由LeRobot团队基于Apache 2.0许可证创建，专注于螺丝刀装配面板的精细操作任务。该数据集通过多视角视觉观测和六维动作空间记录，为机器人学习提供真实的环境交互数据，其包含8个完整 episodes和1823帧高分辨率视频数据，显著推动了机器人模仿学习与强化学习算法在精密装配任务中的应用发展。

当前挑战

该数据集致力于解决工业场景下机器人精密装配操作的自动化挑战，特别是螺丝刀工具的精确定位与力控操作问题。构建过程中面临多模态数据同步采集的技术难题，需要协调机械臂关节状态数据与多视角视频流的高精度时序对齐。此外，真实工业环境下的数据采集还受到操作安全性和设备校准精度的双重约束，使得大规模高质量示范数据的获取成为显著挑战。

常用场景

经典使用场景

在机器人操作任务研究中，该数据集通过多视角视觉观测与机械臂关节状态数据，为模仿学习算法提供高质量演示轨迹。其经典应用场景集中于机器人精细操作任务的策略学习，研究者可利用该数据集训练端到端的视觉运动策略模型，使机器人能够自主完成螺丝刀安装面板的复杂操作序列。

解决学术问题

该数据集有效解决了机器人模仿学习中多模态感知与运动控制协同优化的学术难题。通过提供同步的多视角视频流与高精度关节动作数据，它支持研究者开发能够处理视觉遮挡和视角变化的鲁棒性控制算法，显著推进了具身智能在精细操作任务中的泛化能力研究。

衍生相关工作

该数据集催生了多项机器人模仿学习的创新研究，包括基于时空注意力的多视角视觉特征融合方法、跨模态表示学习框架以及分层强化学习策略。这些工作显著提升了机器人从视觉演示中提取操作语义的能力，为后续的Few-shot操作学习与元强化学习研究奠定了数据基础。