Hackathon_Team01_v2

这是一个使用LeRobot库和SO-101机器人臂在两天黑客松期间收集的远程操作演示数据集。数据集包含顶视图和前视图两种同步RGB相机视角，记录了跟随者臂抓取彩色立方体并放置到2x2网格中对应颜色十字的动作。数据集适用于视觉模仿学习、多视角感知融合和桌面操作研究。

原始信息汇总

Hackathon_Team01_v2 数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 主页: https://www.irt-saintexupery.com/deel/

数据集描述

该数据集包含在两日黑客马拉松期间使用LeRobot库和SO-101机器人臂在领导者-跟随者设置下收集的第一组遥操作演示。每个片段展示跟随臂拾取一个彩色立方体并将其放置到2×2网格内匹配颜色的十字上。

数据采集设置

• 摄像机配置:
  • 顶部摄像机：俯视视角，提供工作空间完整2D视图
  • 前部/低部摄像机：略高于地面水平，面向机械臂和网格以捕捉z轴线索和机械臂自姿态
• 环境条件：背景使用纸板面板遮挡，但环境光照在一天中变化，这种变化被保留并可用于鲁棒性研究

主要用途

• 基于视觉的模仿学习
• 多视角融合研究
• 桌面操作研究
• 行为克隆
• 多视角感知
• 光照鲁棒性评估
• 状态-动作对齐
• 策略引导

数据收集详情

硬件配置

• 遥操作模式：领导者-跟随者遥操作
• 工作空间：带有2×2网格的桌面
• 摄像机位置：
  • 前部：静态俯视
  • 左部：静态前视，强调深度

操作流程

1. 移动到预抓取位置并视觉定位目标立方体
2. 接近并抓取立方体
3. 传输并对齐到彩色十字上方
4. 放置、释放并返回中立位置

数据集结构

统计信息

• 总片段数: 206
• 总帧数: 84,098
• 总任务数: 1
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS
• 训练集分割: 0:206

数据特征

• 动作数据:

  • 数据类型: float32
  • 维度: [6]
  • 包含关节位置: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

• 观测状态:

  • 数据类型: float32
  • 维度: [6]
  • 包含关节位置信息

• 图像观测:

  • 左摄像机:
    • 分辨率: 480×640×3
    • 编码: AV1
    • 帧率: 30 FPS
  • 前部摄像机:
    • 分辨率: 480×640×3
    • 编码: AV1
    • 帧率: 30 FPS

• 元数据:

  • 时间戳: float32[1]
  • 帧索引: int64[1]
  • 片段索引: int64[1]
  • 任务索引: int64[1]

已知限制

• 光照漂移：不同片段间亮度/色温变化
• 遮挡问题：手/夹爪和立方体在接近过程中可能被前部摄像机遮挡
• 无深度传感器：仅RGB数据
• 动作语义：需确认动作是相对位姿还是关节速度
• 早期阶段变异性：部分片段可能包含探索性动作、犹豫或失败的初始抓取

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据采集的精确性至关重要。该数据集通过领导者-跟随者遥操作架构构建，人类操作者控制领导者机械臂，跟随者SO-101机械臂同步复现动作以生成示范数据。采集环境设置了桌面工作空间与2×2网格布局，每个情景仅包含单个彩色立方体及其对应颜色的十字标记。双RGB相机系统以30帧/秒的速率同步记录，顶部相机提供工作空间全景视角，前部相机则捕捉深度线索与机械臂自姿态信息。整个采集过程遵循标准化的四步操作协议，从预抓取定位到最终归位，确保了动作序列的完整性与可重复性。

使用方法

针对机器人模仿学习的研究需求，该数据集支持端到端的策略训练流程。研究者可通过LeRobot库直接加载数据流，利用双视角图像观测与关节状态作为输入，学习生成相应的动作控制指令。数据集内置的训练分割覆盖全部情景，适合开展行为克隆、多视图感知融合等实验。对于光照鲁棒性研究，建议保留原始图像色彩分布以充分利用环境变异特性。在预处理阶段，可考虑对动作空间进行归一化处理，并利用时间戳信息构建序列模型。由于包含部分探索性动作，针对纯净行为克隆任务时可酌情进行数据过滤。

背景与挑战

背景概述

机器人模仿学习领域近年来在桌面级操作任务中展现出巨大潜力。Hackathon_Team01_v2数据集由HuggingFace团队与IRTSainteExupery研究所于2024年合作创建，基于LeRobot开源框架与SO-101机器人平台，采用领导者-跟随者遥操作模式采集了206个示教片段。该数据集聚焦于多视角视觉感知下的物体抓取与精准放置任务，通过双RGB相机同步记录机械臂在2×2网格中将彩色立方体匹配至对应颜色十字区域的全过程，为视觉模仿学习与多视图融合研究提供了重要实验基础。

当前挑战

该数据集面临的核心挑战在于视觉感知鲁棒性问题：环境光照随时间自然变化导致图像特征稳定性受损，需通过色彩恒常性算法或光度增强技术进行补偿；前视相机在抓取过程中易受机械臂自遮挡干扰，影响动作轨迹的连续观测。数据构建过程中，由于缺乏深度传感器，三维空间信息仅能通过多视角几何约束间接推断，增加了动作策略学习的复杂度。此外，早期采集阶段存在的试探性动作与恢复性操作虽有助于鲁棒性研究，但需设计有效的轨迹筛选机制以确保模仿学习效果。

常用场景

经典使用场景

在机器人视觉模仿学习领域，该数据集通过双视角RGB相机记录机械臂抓取彩色立方体的完整操作序列，为行为克隆算法提供了丰富的示范数据。其多视角同步特性使得研究者能够探索从二维图像到三维动作的映射关系，尤其在桌面级物体操控任务中展现出卓越的适应性。

解决学术问题

该数据集有效解决了视觉模仿学习中多模态感知融合的难题，通过保留自然光照变化的数据特性，为研究光照鲁棒性策略提供了实验基础。其包含的206个完整操作序列填补了桌面级机械臂精细操作数据集的空白，推动了从单视角到多视角行为克隆方法的技术演进。

实际应用

在工业分拣与物流仓储场景中，该数据集支撑的算法可应用于自动化物体抓取系统。通过融合俯视与侧视双视角信息，系统能够精准识别物体空间位置并执行抓取-放置操作，其应对光照变化的特性更符合实际工业环境的部署需求。

数据集最近研究

最新研究方向

在机器人视觉模仿学习领域，Hackathon_Team01_v2数据集通过双视角RGB视频与同步本体感知数据，为多模态策略学习提供了新范式。前沿研究聚焦于跨视角特征融合技术，利用俯视与侧视摄像机的几何互补性实现无深度传感器的三维空间推理，显著提升了桌面操作任务的姿态估计精度。该数据集保留的自然光照波动现象，成为评估策略光照鲁棒性的重要基准，推动了自适应视觉表征学习的发展。同时，其包含的探索性动作序列为研究从非完美演示中提取稳健行为模式提供了独特价值，正逐步应用于课程式强化学习的策略初始化阶段。