ankile/square-01a-blind-r2-baseline-mining-shape-beta05

该数据集是一个机器人学数据集，使用LeRobot工具创建，专门针对Franka Emika Panda机器人。数据集包含206个总剧集和37116个总帧，以20帧每秒的速率记录，涵盖单个任务。数据结构包括观察状态（如末端执行器的位置和姿态）、环境状态（如螺母相对于末端执行器的位置和姿态）、动作（如增量运动和夹爪动作）、成功标志、干预标志、奖励、完成标志等特征。此外，数据集提供视频观察，包括代理视角和机器人手眼图像，分辨率为256x256像素，编码为h264。数据以Parquet文件格式存储，视频以MP4格式存储，总数据大小约100MB，视频大小约200MB。该数据集适用于机器人控制、强化学习和模仿学习等研究。This dataset is a robotics dataset created using the LeRobot tool, specifically for the Franka Emika Panda robot. It contains a total of 206 episodes and 37,116 frames, recorded at 20 frames per second, covering a single task. The data structure includes features such as observation state (e.g., end-effector position and orientation), environment state (e.g., nut position relative to the end-effector), actions (e.g., delta movements and gripper actions), success flags, intervention flags, rewards, done flags, and more. Additionally, the dataset provides video observations, including agent-view and robot eye-in-hand images, with a resolution of 256x256 pixels and encoded in h264. The data is stored in Parquet file format, and videos are in MP4 format, with a total data size of approximately 100 MB and video size of 200 MB. This dataset is suitable for research in robot control, reinforcement learning, and imitation learning.

搜集汇总

数据集介绍

构建方式

该数据集是采用LeRobot框架精心构建的机器人操作数据集，基于Panda机械臂平台，通过遥操作或示教方式采集了单一任务下的206个完整演示片段，共计37116帧状态-动作序列。数据以20帧/秒的恒定频率记录，并按照1000帧为单元进行分块存储，最终以Parquet格式高效存储约100MB的结构化数据，同时将多视角视频流（agentview与机器人眼内视角）压缩为H.264编码的MP4文件，实现了状态信息与视觉观察的同步归档。

特点

数据集在设计上呈现出多维度的结构化特征：观测空间涵盖9维末端执行器位姿与夹爪开度、14维环境状态（包括螺母相对于夹爪的位置与姿态）；动作空间为7维的位置增量控制与夹爪动作指令。特别地，每条记录附加了任务成功标志、人工干预标记、有效性标记以及稠密奖励信号，为模仿学习与强化学习提供丰富反馈。视觉模块提供两个256×256大小的RGB相机视角，完整记录了操作场景与机械臂手部细节，总视频文件约200MB。

使用方法

使用者可直接通过LeRobot的Python库加载该数据集，其默认配置将所有206个片段划归为训练集，无显式验证与测试划分。通过读取Parquet数据文件可获取结构化的状态-动作序列及标量特征，视频数据则按指定路径动态索引为帧序列。特征命名清晰直观（如observation.state、action），便于直接接入模仿学习或离线强化学习管线，尤其适合用于学习基于视觉的机械臂精细操作技能，如精密装配类任务。

背景与挑战

背景概述

该数据集「square-01a-blind-r2-baseline-mining-shape-beta05」由Hugging Face LeRobot团队构建，诞生于机器人学习与模仿学习蓬勃发展的背景下。数据集聚焦于利用Franka Emika Panda机械臂执行螺母与螺栓的精确装配任务，核心研究问题在于通过视觉与状态观测数据，训练机器人从示范中习得精细操作策略。数据集中包含206个演示片段，总计37116帧，以20fps采集并涵盖机器人末端执行器位姿、关节状态、环境状态以及双视角视觉观测（Agentview和手眼相机）。该数据集以Apache-2.0许可证开源，为机器人操作领域的基准测试和算法比较提供了标准化资源，对推动灵巧操作、模仿学习及人机协作研究具有重要影响力。

当前挑战

该数据集所应对的领域核心挑战在于实现高精度的机器人装配操作，其中涉及微小零件（如螺母与螺栓）的对准与旋紧，需要模型具备从高维视觉与状态空间中提取鲁棒特征的能力，并应对零件位姿的微小变化与接触动力学的不确定性。数据集的构建过程同样面临挑战：采集206个高质量演示片段要求操作者有高度一致的演示技能，且需确保机械臂不同视角下图像与状态信号的时空对齐；同时，如何设计涵盖多场景、多光照与遮挡条件的数据以提升泛化性，以及平衡样本容量与标注成本，均构成了该数据集构建过程中的关键难题。

常用场景

经典使用场景

在机器人学习领域，square-01a-blind-r2-baseline-mining-shape-beta05数据集为模仿学习与行为克隆提供了宝贵的训练资源。该数据集记录了Franka Emika Panda机械臂执行方形螺母安装任务的206个完整回合，包含37116帧状态-动作对，融合了末端执行器位姿、夹爪开合度、环境物体相对位姿等精细运动信息，以及双视角视觉观测。研究者可基于此数据训练机器人从人类演示中学习精巧的装配行为，尤其适用于需要视觉-运动协调的任务场景。

实际应用

在实际工业部署中，该数据集可支撑视觉引导的精密装配机器人开发，例如电子元件插装、汽车零部件拧紧等需要高精度位姿控制的场景。通过策略网络在仿真与真实环境间的迁移学习，帮助降低产线机器人的调试成本。此外，数据集中的干预标记机制为半自主遥操作提供了研究基础，有望赋能远程医疗手术、危险环境作业等应用中对机器人灵巧操作的精准操控。

衍生相关工作

基于该数据集，学界衍生出多项代表性工作。例如利用重播缓冲机制改进的扩散策略模型，显著提升了长时域任务的动作连贯性；又如结合环境状态特征的多模态融合框架，增强了策略对动态环境干扰的鲁棒性。在元学习方向，该数据集被用作少样本技能泛化的测试基准，催生了高效的任务参数调节算法。此外，基于该数据的高效数据增强方法为后续大规模机器人数据集构建提供了技术范式，推动了LeRobot生态的标准化发展。