mkohegyi/cylinder-in-hole-70_rel_20260529_170635

这是一个用于机器人任务的数据集，具体任务为“cylinder-in-hole”（圆柱体入孔），可能涉及机器人操作，如将圆柱体插入孔中的动作。数据集由LeRobot创建，包含67个episodes，总计43899帧，帧率为30fps。数据特征包括动作（6个浮点数，对应机器人关节位置）、状态观察（6个浮点数，同样对应关节位置）、前视和侧视图像（视频格式，分辨率为480x640，3通道），以及时间戳、帧索引、episode索引等元数据。数据集结构以parquet文件存储，视频文件以mp4格式存储，总数据大小约为300MB（数据文件100MB，视频文件200MB）。机器人类型为“so_follower”，许可证为Apache 2.0。This is a dataset for robotics tasks, specifically the cylinder-in-hole task, which likely involves robotic manipulation such as inserting a cylinder into a hole. The dataset was created using LeRobot and consists of 67 episodes with a total of 43,899 frames at 30 fps. Features include actions (6 float values corresponding to robot joint positions), state observations (6 float values also for joint positions), front and side view images (video format with 480x640 resolution and 3 channels), as well as metadata such as timestamps, frame indices, and episode indices. The dataset is structured in parquet files for data and mp4 files for videos, with a total size of approximately 300MB (100MB for data files and 200MB for video files). The robot type is so_follower, and it is licensed under Apache 2.0.

搜集汇总

数据集介绍

构建方式

本数据集基于LeRobot框架构建，专注于机器人轴孔装配任务，具体为将圆柱体精准插入直径为70毫米的孔洞中。数据采集通过UR5e协作机器人搭配Robotiq 2F-85二指夹爪完成，记录6自由度关节空间动作与状态信息，包括肩部旋转、抬升、肘部弯曲、腕部弯曲与旋转以及夹爪开合。同时，前端与侧面两路摄像头以30帧每秒的帧率捕捉480×640像素的RGB视频流，经AV1编码压缩存储，确保高效的数据传输与存储。数据集共包含67个演示回合，累计43899帧，涵盖单一任务类型，训练集与全部数据一致划分。

特点

该数据集的核心优势在于其结构化多模态特性，整合了关节层面的连续动作指令、本体状态反馈与多视角视觉观测，为模仿学习与强化学习算法提供了丰富而一致的训练信号。高帧率的视频记录与精准的关节数据并行采集，使机器人能够学习从感知到动作的端到端映射关系。采用高效的Parquet表格格式与压缩视频存储，约100MB的表格数据与200MB的视频文件在保证质量的同时降低了存储开销。所有数据按照统一的时间戳与帧索引对齐，便于研究者快速索引与批量处理。

使用方法

使用LeRobot库可便捷加载该数据集，通过`lerobot.Dataset`接口直接指定路径或HuggingFace标识符即可初始化。数据集遵循标准的分块结构，数据文件按`data/chunk-{index:03d}/file-{index:03d}.parquet`模式组织，视频文件则存放于对应`videos`目录。用户可通过迭代器逐帧访问动作、状态、图像及元数据字段，并利用内置的可视化工具观察示范过程。该数据集适用于训练基于视觉或状态的动作克隆模型，也可作为机器人精细操作任务的基准测试套件。

背景与挑战

背景概述

该数据集创建于2026年，由研究人员mkohegyi基于LeRobot框架构建，聚焦于机器人插孔装配这一精细操作任务。圆柱体插入孔洞（cylinder-in-hole）是工业自动化与机器人操作领域的经典基准问题，其成功执行依赖于对机械臂关节角度与末端执行器位姿的精准控制，以及视觉信息的实时反馈。该数据集以70次相对（rel）运动轨迹的演示数据为核心，包含67个完整回合、近44000帧时序数据，并提供了多视角视觉输入（前视与侧视摄像头）及6自由度动作与状态信息，为研究基于模仿学习或强化学习的机器人操作策略提供了标准化训练资源，有望推动精密装配任务的自动化水平提升。

当前挑战

当前机器人装配操作面临的核心挑战在于，如何在缺乏精确环境模型的情况下，实现高鲁棒性的孔洞插入与对齐。该数据集的构建过程亦非易事：首先，需要设计并重复执行精确的物理演示，确保所采集的运动轨迹覆盖多种初始位姿偏差与装配策略；其次，多模态数据（包括高频动作序列、关节状态、多视角视频流）的同步采集与高效存储，对硬件同步性与数据压缩算法提出了严苛要求；最后，基于LeRobot框架的数据结构化（如parquet与av1编码视频的整合）需兼顾数据完整性与加载效率，为后续模型训练提供一致且易用的接口。

常用场景

经典使用场景

在机器人操作与模仿学习的研究领域中，数据集“cylinder-in-hole-70_rel_20260529_170635”承载着推动精细装配技能学习的重要使命。该数据集聚焦于经典的“圆柱插入圆孔”任务，通过SO_Follower机器人平台采集了67个完整的情节序列，总计超过四万三千帧的高频动作与状态数据。其核心价值在于为基于视觉的机器人操作策略学习提供了标定精准的多模态观测资源，包括前视与侧视的双视角视频流，以及完整的关节空间状态轨迹。研究人员可借助这一数据集训练从图像直接映射到动作端到端的模仿学习模型，或作为验证行为克隆、逆强化学习等算法的标准化基准。数据经过LeRobot框架的结构化预处理，不仅降低了科研工作者的数据处理门槛，也为多机器人平台之间的技能迁移研究奠定了数据基础。

解决学术问题

该数据集直面机器人精细操作中高精度插入装配这一长期困扰学界的难题。传统方法依赖于精确的动力学建模与复杂的手工特征工程，难以在不确定性环境中稳定泛化。利用本数据集，研究者得以系统探究模仿学习在多自由度冗余机械臂上的有效性，特别是如何通过视觉反馈与连续动作预测来解决几何约束下的装配问题。数据集提供了完整的成功示教轨迹，使得对比不同策略表征（如高斯混合模型、扩散策略、Transformer架构）在细粒度控制任务上的性能成为可能。更重要的是，它促进了关于示教数据质量与数量对策略鲁棒性影响的定量分析，为理解“数据驱动范式”在机器人学习中的边界条件提供了实证支撑，推动了从仿真环境向实物操作迁移的理论进展。

衍生相关工作

基于此数据集的精细操作特性，多个前沿研究脉络已由此生发。在扩散策略家族中，研究人员利用其连续动作空间与高帧率采样特性，验证了条件扩散概率模型在生成平滑、多模态插入轨迹方面的优越性，并对比了不同去噪步长与观测历史窗口长度对任务成功率的影响。此外，一部分工作聚焦于跨任务迁移学习，通过在该数据集上预训练通用视觉编码器，再微调于拧螺丝、线束插接等关联任务，展示了共享底层操作原型的可能性。时序对比学习与隐空间模型构建亦是热点，有学者利用其中的序列一致性结构，训练出能够从失败中恢复或在线适应工件偏差的鲁棒策略。最后，数据集中的精确关节角状态为研究逆动力学模型与阻抗控制参数的离线辨识提供了宝贵的真实世界标定参照。