radoolonto/angle_peg_stereo_05_27_tip_ref

该数据集是一个用于机器人任务的数据集，使用LeRobot创建。它包含来自两个摄像头（cam0和cam1）的图像观察，每个图像具有3个通道（C）、240像素高度（H）和320像素宽度（W）。此外，数据集还包括状态观察（3维浮点数）、动作数据（10维浮点数），以及时间戳、帧索引、episode索引等元数据。数据集总共有72个episodes和44185帧，帧率为15 fps。数据以parquet格式存储，总数据文件大小为100 MB，视频文件大小为200 MB。机器人类型为Franka，并包含训练分割（所有episodes用于训练）。数据集结构基于代码库版本v3.0，适用于机器人学习和控制任务。This dataset is designed for robotics tasks and was created using LeRobot. It includes image observations from two cameras (cam0 and cam1), each with 3 channels (C), 240 pixels in height (H), and 320 pixels in width (W). Additionally, the dataset contains state observations (3-dimensional float32), action data (10-dimensional float32), and metadata such as timestamps, frame indices, and episode indices. The dataset comprises 72 episodes and 44185 frames, with a frame rate of 15 fps. Data is stored in parquet format, with a total data file size of 100 MB and video file size of 200 MB. The robot type is Franka, and it includes a training split (all episodes for training). The dataset structure is based on codebase version v3.0 and is suitable for robot learning and control tasks.

搜集汇总

数据集介绍

构建方式

该数据集名为angle_peg_stereo_05_27_tip_ref，依托于LeRobot框架构建，专注于机器人领域。数据集通过Franka机器人平台采集，以15帧每秒的采样频率记录72个episode，共包含44185帧数据。每个样本集成了三路立体视觉图像（cam0、cam1、cam2），分辨率均为240×320，并同步捕获机器人末端的三维状态信息与10维动作指令。数据以parquet格式存储，辅以mp4视频文件，并通过元数据索引文件实现高效组织。

特点

数据集核心特点在于其多模态融合设计，同时提供视觉图像、机器人状态和动作序列，为模仿学习提供完整时序信息。采集自真实物理环境的72个episode确保数据多样性，而机器人运动数据与控制指令的精确对齐，使其适用于策略学习研究。此外，数据集采用Apache-2.0许可证开放，降低了学术与工业界的使用门槛。

使用方法

使用者可通过Hugging Face的LeRobot工具库直接加载该数据集，无需手动处理原始文件。数据集预定义了训练集划分（全部72个episode），便于直接用于机器人操控模型的训练与验证。推荐利用其中多视角图像与状态动作对，构建端到端的模仿学习管线，或在仿真环境中基于真实数据进行迁移学习研究。

背景与挑战

背景概述

在机器人精细操作领域，插孔装配任务因其对位姿精度与柔顺控制的严苛要求，长期被视为衡量机器人灵巧操作能力的基准测试。该数据集由研究者在2024年5月27日构建，依托Franka机械臂与立体视觉系统，针对尖端参考物（tip_ref）的倾斜插孔任务进行采集，由LeRobot框架生成并托管于HuggingFace平台。数据集包含72个演示回合、44185帧时间序列，涉及三视角摄像头图像（240x320分辨率）、机器人关节状态与10维动作指令，为模仿学习与强化学习算法提供了高保真的专家示范数据。其发布填补了标准化倾斜插孔操作数据集的空白，对于推动机器人从仿真策略迁移至真实场景的泛化能力研究具有重要价值，尤其为非结构化环境下的精密装配技术提供了可复现的评估基准。

当前挑战

该数据集所解决的领域挑战集中于倾斜插孔装配中非垂直插入的几何不确定性，要求机器人模型在有限观测角度下推断插孔空间姿态并规划柔顺轨迹。具体技术难点包括：1）基于立体视觉的精密定位，需从240x320低分辨率图像中提取亚毫米级位置信息；2）动作空间维度（10维）与状态空间（3维）的非线性映射，对策略网络的表征学习能力提出严峻考验。在数据构建层面，挑战体现在确保72个演示回合的轨迹多样性（覆盖不同初始偏差角）与状态分布平衡性，同时维持15fps高频率下观测、状态与动作时序的严格同步。此外，数据集仅包含单一任务的170MB视觉-运动数据，如何在有限样本量下防止策略过拟合、实现高效迁移学习，成为后续研究的关键瓶颈。

常用场景

经典使用场景

在机器人精细操作领域，该数据集专注于解决插销入孔（peg-in-hole）这一经典装配任务。通过记录Franka机械臂在立体视觉引导下的精准插拔动作，数据集提供了三视角相机图像与机器人状态、动作序列的完整对齐信息。研究者可基于此数据训练模仿学习模型，使机器人学会从多模态观测中提取空间几何关系，并生成高精度力位混合控制策略，最终实现毫米级装配精度的自主复现。

实际应用

在智能制造与精密装配工业场景中，该数据集为构建柔性化自动生产线奠定了基础。企业可利用该数据训练工业机器人完成电子元件插装、轴承压入等对位姿一致性要求严苛的操作。结合视觉反馈与力觉感知的决策框架，可显著降低精密装配中对昂贵工装夹具的依赖，同时提升产线对零件公差波动的鲁棒性，尤其适用于小批量多品种的柔性制造需求。

衍生相关工作

该数据集启发了多项机器人学习领域的里程碑式工作。基于其采集规范，研究者开发了面向装配任务的视觉-动作联合预训练模型，以及融合扩散策略的动作序列生成框架。此外，已有工作将其作为核心评估基准，对比不同架构（如Transformer与扩散模型）在细粒度操作中的表现差异，并衍生出针对非刚体装配、多步骤串联任务的新型数据集设计范式。