JonathanGiegold/cylinder-in-hole-70-annotated

该数据集是一个用于机器人任务的数据集，专门针对圆柱体插入孔洞的操作。它包含70个训练片段，总帧数达45853，以每秒30帧的速率采集。数据集的结构包括动作特征（如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、观察状态特征（与动作相同的关节位置）、来自正面和侧面摄像头的视频观察（分辨率为480x640，3通道RGB），以及时间戳、帧索引、片段索引、任务索引等元数据。机器人类型为so_follower，数据以Parquet文件格式存储，视频文件使用AV1编解码器。数据集主要用于机器人学习和控制任务，支持从视觉和状态信息中学习动作策略。This dataset is designed for robotics tasks, specifically focusing on cylinder-in-hole operations. It includes 70 training episodes with a total of 45,853 frames, captured at 30 frames per second. The dataset structure comprises action features (such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation state features (identical joint positions as actions), video observations from front and side cameras (resolution 480x640, 3-channel RGB), and metadata like timestamp, frame index, episode index, and task index. The robot type is so_follower, with data stored in Parquet files and video files using the AV1 codec. The dataset is primarily used for robot learning and control tasks, enabling the learning of action policies from visual and state information.

搜集汇总

数据集介绍

构建方式

本数据集由Hugging Face的LeRobot框架精心构建，旨在服务于机器人领域的精细操作研究。其核心任务聚焦于“圆柱入孔”这一典型插装动作，通过遥操作技术采集人类演示数据。数据集包含70个完整操作回合，共计45853帧时序信息，涵盖机器人6自由度关节角度（肩部旋转、抬升、肘部弯曲、腕部屈伸、腕部回旋及夹爪开合）作为动作与状态观测量。同时，从前置与侧方两个视角同步录制640×480分辨率的彩色视频流，以30帧每秒的速率记录操作过程，数据以parquet格式存储，视频以av1编码的mp4文件压缩保存，实现了结构化数据与视觉信息的深度融合。

使用方法

在应用层面，研究者可借助LeRobot库便捷地加载与解析该数据集。通过指定数据集路径，即可获得拆分良好的训练集（全部70回合），并访问每一帧的关节动作、状态向量及两路摄像机图像。数据可直接用于训练基于视觉的模仿学习模型，如行为克隆或扩散策略，其中状态信息可作为低维策略的输入，而图像流则用于构建端到端的视觉运动策略。此外，因数据以标准化的parquet与mp4格式存储，亦可绕过LeRobot，直接使用PyTorch或TensorFlow的数据流水线进行自定义加载，将视频帧与状态动作序列对齐后，开展时间序列预测、机器人技能泛化等前沿研究。

背景与挑战

背景概述

在机器人操作领域，从人类演示中学习精细操作技能是迈向通用智能机器人的关键一步。cylinder-in-hole-70-annotated数据集由研究人员Jonathan Giegold创建，基于LeRobot框架构建，发布于HuggingFace平台，旨在解决机器人插销入孔这类精密装配任务。该数据集包含70个示范轨迹、超过45000帧影像，记录了SO-101双臂协作机器人从多视角（正面与侧面）执行七自由度操作的动作序列及关节状态。作为机器人模仿学习领域的高质量基准，该数据集为研究非结构化环境中的抓取、对孔与插入等复合动作提供了标准化训练素材，推动了仿真到现实迁移的技术发展。

当前挑战

该数据集所面临的挑战首先来自领域问题本身：工业级插销入孔任务要求机器人具备亚毫米级的定位精度与力觉自适应能力，而单一数据集难以覆盖所有可能的零件公差与材料形变差异。构建过程中，同步记录6维关节动作与30FPS高分辨率影像时，需解决多模态数据的时间戳对齐问题，同时保证70个示范轨迹的动作多样性以避免策略过拟合。此外，采用AV1视频编码压缩虽减少存储开销，却可能引入解码延迟，这对实时策略推理构成潜在隐患。如何在有限示范数据中高效提取通用操作先验，仍是当前机器人学习领域的核心瓶颈。

常用场景

经典使用场景

在机器人精细化操作领域，cylinder-in-hole-70-annotated数据集作为一项里程碑式的资源，专为模仿学习与行为克隆研究设计。其核心场景聚焦于经典的“轴孔装配”任务，通过遥操作采集的70个完整回合数据，记录了SO-100双臂机器人从接近、对齐到插入圆柱体的完整运动轨迹。该数据集凭借高保真的视觉-运动耦合特性，成为训练机器人理解精密装配动作序列的基准，尤其适用于验证模型在连续控制任务中的泛化能力与操作精度。

解决学术问题

该数据集精准解决了机器人学习领域中“低样本效率”与“精细操作策略迁移”两大核心瓶颈。通过提供包含6维关节状态与双视角视觉流（前视、侧视）的同步记录，研究者得以深入探索视觉引导下的端到端策略学习，揭示了多模态感知对复杂接触任务的关键作用。其规范化的数据结构促进了模仿学习中数据增强、逆强化学习等方法的公平对比，推动了接触模型与柔顺控制的融合研究，为突破工业装配自动化中的柔性适配难题奠定了数据基础。

实际应用

在实际产业应用中，该数据集衍生出多项前驱性技术。基于其训练的策略可无缝部署于协作机器人，实现异性零件分拣、电路板插接等高精度组装任务。在汽车制造场景中，机器人借助其学到的力位混合控制模式，自动完成发动机活塞与缸体的匹配安装。此外，数据集中的遥操作映射方法已被借鉴用于医疗手术机器人微创工具的姿态调控，显著提升了器械操作的安全阈值，展示了从实验室原型到工厂产线的技术穿透力。

数据集最近研究

最新研究方向

在机器人灵巧操作领域，圆柱孔装配任务（cylinder-in-hole）作为精密装配的典型挑战，始终是衡量机械臂自适应控制能力的重要基准。该数据集通过遥操作（teleop）采集了70个示范片段，涵盖六自由度机械臂的关节空间运动与多视角视觉观测，为模仿学习（Imitation Learning）和基于视觉的运动策略（Visual Motor Policies）提供了高质量训练样本。结合LeRobot开源框架的标准化管线，该数据集正推动机器人技能学习从仿真环境向真实世界的迁移，尤其对细粒度插拔操作中的接触力建模与容差补偿机制研究具有关键意义。其采集的视觉-动作耦合数据流，为突破工业场景下高精度装配的自主决策瓶颈提供了基础支撑，呼应了学术界对少样本泛化与鲁棒策略的迫切需求。