ankile/real01c-insert-marker-d1-baseline-uniform-r2-nocf

该数据集是使用LeRobot工具创建的机器人学习数据集，专门用于机器人控制和强化学习任务。数据集基于Franka机器人平台，包含50个完整的情节（episodes），总计15631个帧（frames），数据以15帧每秒（fps）的速率采集。数据集结构包括观测数据（如机器人的笛卡尔位置、关节位置、速度、夹爪位置等）、动作数据（如笛卡尔速度、关节速度、夹爪动作等）、以及任务相关指标（如成功标志、干预标志、奖励、完成标志等）。此外，数据集还包含来自两个相机视角（标识为18650758_left和25916956_left）的视频数据，分辨率为480x640像素，编码为h264格式。数据以Parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB。该数据集适用于机器人行为克隆、强化学习算法训练等应用。This dataset is a robotics learning dataset created using the LeRobot tool, specifically designed for robot control and reinforcement learning tasks. It is based on the Franka robot platform and includes 50 complete episodes, totaling 15631 frames, collected at a rate of 15 frames per second (fps). The dataset structure comprises observation data (such as Cartesian position, joint position, velocity, gripper position, etc.), action data (such as Cartesian velocity, joint velocity, gripper action, etc.), and task-related metrics (such as success flag, intervention flag, reward, done flag, etc.). Additionally, the dataset includes video data from two camera perspectives (labeled 18650758_left and 25916956_left) with a resolution of 480x640 pixels, encoded in h264 format. The data is stored in Parquet file format, with a total data file size of 100MB and video file size of 200MB. This dataset is suitable for applications such as robot behavior cloning and reinforcement learning algorithm training.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，面向Franka机器人平台，聚焦于单一精密操作任务。通过均匀基线策略采集了50个完整演示回合，总计15,631帧数据。数据以Parquet格式存储于分块文件中，每块容量达1000帧，同时以MP4格式同步保存多视角视觉观测视频，帧率为15 FPS。数据集中融入了干预标记与验证标志，以区别人工介入与自主执行的状态。所有训练数据均来自单一任务，未进行分割，便于开展端到端的模仿学习研究。

特点

数据集特征维度丰富且层次分明，包含机器人本体的7维关节状态与笛卡尔空间位姿，以及对应的速度与位置控制指令。视觉信息由两台独立相机以640×480分辨率采集，提供左侧视角的RGB图像流。此外，数据集还记录了操作点坐标与偏航角等精细参数，以及时间戳、帧索引和回合索引等结构化元数据。特别引入了策略标识与干预标志，为评估人机协作与策略鲁棒性提供关键支持。

使用方法

用户可通过LeRobot库便捷加载该数据集，利用其提供的标准接口访问观测状态、动作序列及多模态感知数据。数据集支持按回合索引遍历，便于构建时序模型。Parquet格式的高效列式存储适合大规模特征提取与批量训练。视频数据可通过H.264解码后与状态信息对齐，用于视觉运动策略的学习。建议研究者结合干预标志筛选有效数据片段，或利用成功标志进行成果判别分析。

背景与挑战

背景概述

该数据集由Hugging Face的LeRobot团队基于Franka机器人平台构建，创建于2023年，专注于机器人操作技能的学习与模仿。核心研究问题在于如何通过低成本、高效率的方式收集机器人精细操作数据，以推动模仿学习在真实物理世界中的应用。数据集包含50个完整任务轨迹，共计15631帧，记录了机器人执行诸如插笔入孔等精密操作的全过程。其影响力体现在为机器人领域提供了一种标准化、结构化的数据采集范式，使研究者能够基于统一的格式和特征集（包括状态、动作、多视角图像及控制参数）进行算法开发与比较，显著降低了数据获取门槛。

当前挑战

当前挑战首先体现在领域问题的复杂性上：机器人精细操作任务要求高精度控制与实时反馈，而数据集仅包含单一任务且样本量有限（50个轨迹），难以覆盖真实场景中的多样化操作变体与干扰因素。构建过程的核心挑战在于数据标注与校准的精确性——机器人状态观测值（如关节位置、笛卡尔速度）与动作指令须严格对齐，而视觉与运动控制之间的时空同步误差会直接劣化模仿学习的性能。此外，在无碰撞条件（nocf）下采集的数据可能与实际部署中的物理交互场景存在偏差，限制了模型的泛化能力。

常用场景

经典使用场景

在机器人操作与模仿学习领域，real01c-insert-marker-d1-baseline-uniform-r2-nocf数据集专为精细装配任务中的机械臂控制算法研发而构建。基于Franka机械臂平台采集，该数据集记录了将标记物插入预设插槽的完整操作流程，包含50个示范回合、超过15000帧时序数据，以15Hz频率同步记录7维关节状态、6维末端执行器位姿及双目视觉图像。研究者可借助该多模态数据，训练策略网络从高维观测中学习稳健的插孔式装配技能，尤其适用于基于行为克隆或离线强化学习的操控策略开发。

衍生相关工作

该数据集催生了多项机器人模仿学习的经典工作。研究者基于其携带的结构化轨迹与干预标志，验证了条件式行为克隆与扩散策略在装配任务上的优势，进而衍生出适用于多模态融合的动作分块算法。此外，数据集中成功/失败标志位的显式标注，启发了面向安全强化学习的奖励塑形研究，相关成果被应用于领域随机化与对抗式模仿方法，形成了一套从数据集清洗、策略训练到物理验证的闭环研究工具链。

数据集最近研究

最新研究方向

该数据集聚焦于机器人操作领域的模仿学习与行为克隆前沿，利用Franka机械臂在精密插装任务中采集的50条专家演示轨迹，涵盖关节空间与笛卡尔空间的完整状态-动作对。当前研究热点集中于利用此类高保真物理交互数据训练端到端策略，突破传统控制方法在柔性装配等非结构化环境中的局限性。通过整合多视角视觉观测与多模态动作表征，该数据集为探索触觉力反馈、视觉伺服与强化学习的混合范式提供了基准，推动了具身智能体在工业精密操作场景中的泛化能力研究。