radoolonto/angled_peg_05_21_cam_ref

该数据集使用LeRobot创建，是一个机器人学习数据集，专注于Franka机器人执行任务。数据集包含119个训练集，总计67,092帧数据，帧率为15 fps。数据特征包括：来自两个摄像头（cam0和cam1）的图像观测（3通道，分辨率240x320）、机器人状态观测（3维浮点向量）、动作数据（10维浮点向量），以及时间戳、帧索引、任务索引等元数据。数据以Parquet格式存储，总数据文件大小为100 MB，视频文件大小为200 MB。数据集适用于机器人控制、模仿学习或强化学习任务。This dataset was created using LeRobot and is a robotics learning dataset focused on Franka robot task execution. It contains 119 episodes for training, with a total of 67,092 frames at 15 fps. Features include: image observations from two cameras (cam0 and cam1) with 3 channels and 240x320 resolution, robot state observations (3-dimensional float32 vector), action data (10-dimensional float32 vector), and metadata such as timestamp, frame index, and task index. Data is stored in Parquet format, with total data file size of 100 MB and video file size of 200 MB. The dataset is suitable for robotics control, imitation learning, or reinforcement learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，面向机器人操作任务中的插销对准场景，采用Franka机械臂采集多视角视觉与状态数据。采集过程以特定角度的插销为操作对象，通过双路摄像头同步记录240×320分辨率的RGB图像，同时记录机械臂的三维状态向量与十维动作指令，以15帧每秒的采样频率形成时序轨迹。全部119个演示回合共计67092帧，经统一切片与格式封装后以Parquet列式存储，并按分块结构组织，确保数据加载的高效性与可扩展性。

特点

数据集的核心特质在于其精细的多模态同步记录与明确的任务导向性。双摄像头配置提供了互补的视觉观测，动作空间的高维度（十维）涵盖末端执行器的位置与姿态调整，而状态空间的三维向量则聚焦于关键关节或末端位姿。全部回合共享单一任务，聚焦于带角度插销的精准对准与插入操作。15Hz的采样频率在保证动作连续性的同时避免了过高的数据冗余，119个回合的规模为模仿学习与策略评估提供了适中的样本量。

使用方法

使用该数据集时，可借助HuggingFace平台提供的可视化工具直接浏览各回合的视觉轨迹与动作序列。数据以Parquet格式存储于data目录下，按chunk与file索引组织，元信息文件meta/info.json定义了特征结构与文件路径模板。研究人员可基于LeRobot代码库加载数据，将observation.image.cam0与cam1作为视觉输入，observation.state作为状态输入，action作为预测目标，用于训练模仿学习或强化学习策略。数据划分默认全部119个回合为训练集，便于直接用于模型微调与离线评估。

背景与挑战

背景概述

在机器人学习领域，高质量的真实世界操作数据集是推动算法从仿真走向实际应用的关键基石。angled_peg_05_21_cam_ref数据集依托LeRobot框架构建，采集自Franka机械臂，包含119个回合、67092帧、15fps的双视角图像与3维状态、10维动作数据，聚焦于倾斜轴孔的插配任务。该数据集诞生于具身智能与机器人操作学习快速演进的背景下，旨在为视觉-动作策略学习、精细操作技能获取等核心研究问题提供标准化、可复现的数据支撑。其多视角同步观测与丰富交互轨迹的设计，对灵巧装配、接触密集型操作等方向具有潜在参考价值。

当前挑战

从领域问题看，倾斜轴孔插配对感知精度、力觉-视觉协调与姿态自适应提出了极高要求，策略需应对孔轴位姿偏差、接触不确定性及复杂摩擦效应。在构建层面，数据采集需确保双相机时空对齐、动作指令与状态反馈严格同步，并维持长时序轨迹的稳定性与任务一致性；同时，仅含单一任务且回合数有限，对策略泛化至不同倾角、孔径与光照条件构成显著挑战，数据规模与多样性亦制约着模型在真实场景中的迁移能力。

常用场景

经典使用场景

在机器人学习领域，尤其是精细操作任务中，该数据集提供了一个经典的视觉-动作策略学习场景。其核心使用方式为：利用双视角摄像头（cam0与cam1）同步捕获的240x320分辨率图像序列，联合机器人本体状态（observation.state）与高维动作指令（action），训练端到端的模仿学习或视觉运动策略模型。具体而言，模型需从时序图像中提取空间特征，并预测出十维连续动作，以完成倾斜插销（angled peg）的插入任务。此类场景常见于基于LeRobot框架的离线策略评估与在线微调实验，旨在验证多模态感知对复杂装配任务的表征能力。

实际应用

在实际工业与家庭服务场景中，该数据集可直接支撑自动化装配与精密操作系统的开发。例如，在电子元件插装、机械零件对准或实验室自动化流程中，基于该数据训练的策略可迁移至Franka机械臂，实现倾斜插销的自主插入。此外，其双摄像头配置模拟了真实工作空间中的多视角监控，适用于需要视觉反馈的远程操作与半自主控制场景。通过利用该数据集进行预训练或性能验证，开发者能够加速从仿真到现实的策略迁移，降低在真实硬件上试错的风险与成本。

衍生相关工作

围绕该数据集，已衍生出多项与视觉运动策略及多模态学习相关的经典工作。例如，基于LeRobot生态的模仿学习算法（如ACT、Diffusion Policy）常将其作为评估基准，用以检验策略在精细操作中的成功率与泛化性。同时，该数据集启发了多视角特征融合模块的设计，以及时序Transformer在动作预测中的应用研究。部分工作进一步利用其动作空间与状态维度，开展离线强化学习与数据增强技术的对比实验。这些衍生研究共同丰富了机器人操作领域的数据驱动方法论，并促进了开源社区在标准化任务上的协作与迭代。