ankile/real01c-insert-marker-d1-blind-eval-r1-25k-sobol20

该数据集是使用LeRobot创建的机器人数据集，专为机器人学习和控制任务设计。数据集基于Franka机器人，包含80个完整的情节（episodes），总计19296帧数据，帧率为15fps，仅包含一个任务。数据以Parquet格式存储，并附带视频文件。数据集特征丰富，包括观测状态（如笛卡尔位置、关节位置、速度、夹爪位置）、动作（如笛卡尔速度、关节速度、夹爪动作）、奖励、完成标志、步骤剩余数、策略ID、回合ID等。此外，还提供两个摄像头（ID: 18650758_left和25916956_left）的视频流，分辨率为480x640，编码为h264，用于视觉观测。数据集适用于机器人强化学习、模仿学习等研究，支持训练和评估机器人控制策略。This dataset is a robotics dataset created using LeRobot, designed for robot learning and control tasks. It is based on the Franka robot and includes 80 complete episodes, totaling 19296 frames with a frame rate of 15fps, and contains only one task. The data is stored in Parquet format and accompanied by video files. The dataset features a wide range of attributes, including observation states (such as Cartesian position, joint position, velocity, gripper position), actions (such as Cartesian velocity, joint velocity, gripper action), reward, done flag, steps to go, policy ID, round ID, and more. Additionally, it provides video streams from two cameras (IDs: 18650758_left and 25916956_left) with a resolution of 480x640, encoded in h264, for visual observations. The dataset is suitable for research in robotics reinforcement learning, imitation learning, and other areas, supporting the training and evaluation of robot control policies.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量数据集是驱动策略泛化与鲁棒性提升的核心基石。real01c-insert-marker-d1-blind-eval-r1-25k-sobol20数据集依托LeRobot框架构建，基于Franka机器人平台，通过真实物理环境下的遥操作采集而成。数据采集过程围绕单一任务——盲插标记物——展开，共记录80个回合（episodes），累计19296帧，以15帧/秒的速率同步捕获多模态信息。数据以Parquet格式存储，并关联H.264编码的高清视频（分辨率640×480），确保了结构化数据与视觉输入的时空对齐，为模仿学习与强化学习研究提供了标准化的数据底座。

特点

该数据集的核心特色在于其丰富的动作与状态表征设计。它不仅包含7维末端执行器状态（笛卡尔坐标与夹爪位置）和7维动作指令（线速度、角速度与夹爪动作），更详尽地拆解了笛卡尔速度/位置、关节速度/位置以及夹爪速度/位置等多层次控制信号。此外，数据集记录了奖励值、任务成功标志、回合索引及时间戳等关键元数据，并嵌入两支不同视角的RGB摄像头图像流，为复杂操作任务的细粒度分析与多模态感知融合提供了理想平台。

使用方法

研究人员可借助LeRobot库便捷地加载与解算该数据集。通过指定参数`episod=0`截取特定回合数据，利用`pre_replay_episode()`函数预览回合内容。数据分为训练集（全部80个回合）与评估集，使用时需将Parquet文件与对应视频文件放置于同一目录下，遵循`data/chunk-xxx/file-xxx.parquet`与`videos/{video_key}/chunk-xxx/file-xxx.mp4`的路径结构。该数据集支持训练视觉-运动策略模型，例如扩散策略（Diffusion Policy）与基于Transformer的架构，是实现从像素到动作端到端学习的优质资源。

背景与挑战

背景概述

该数据集名为real01c-insert-marker-d1-blind-eval-r1-25k-sobol20，由Hugging Face社区基于LeRobot框架构建，采用Franka机器人平台，以Apache-2.0许可证公开。其核心研究问题聚焦于机器人操作任务中的精密插入动作，具体涉及在盲操作条件下（无直接视觉反馈）将标记物精准放置于指定位置。数据采集采用Sobol序列采样策略，共计80个回合、19296帧数据，涵盖7维状态空间与7维动作空间，并辅以多视角视觉输入（480×640分辨率，15 FPS）。该数据集旨在为机器人模仿学习与强化学习提供标准化基准，尤其在任务复杂度高、状态-动作耦合紧密的精密操作领域具有重要参考价值，推动了机器人技能学习从简单抓取向高精度装配任务的跨越。

当前挑战

该数据集面临的核心领域挑战在于机器人精密插入任务的固有困难：其一，盲操作环境要求算法仅依赖隐藏状态（如关节位置、力觉信号）完成毫米级精度插入，缺乏视觉反馈导致策略鲁棒性不足；其二，任务中标记物随机分布的初始位置（由Sobol序列采样生成）增加了状态空间覆盖难度，传统模仿学习易陷入局部最优。在构建过程中，挑战体现在多传感器融合的高效同步上——需协调两个摄像头、弗里卡机器人的7自由度关节与末端执行器，确保每秒15帧的连续数据流无漂移；另外，80个回合的有限采样量在应对连续控制任务中高维动作空间时，易出现过拟合现象，影响泛化能力。

常用场景

经典使用场景

在机器人操作领域，精细操控任务如物体插入与装配一直是极具挑战的研究课题。real01c-insert-marker-d1-blind-eval-r1-25k-sobol20数据集专注于Franka机器人执行盲插操作（即在缺乏视觉反馈的条件下，仅依靠本体感知完成标记物插入），共包含80个有效回合、近两万帧时序数据。该数据集的经典使用场景是作为模仿学习与行为克隆的基准，研究者可利用其中的状态-动作对训练策略网络，使机器人学会从初始位置到成功插入的完整运动轨迹。同时，其丰富的传感器信息——包括七维关节状态、笛卡尔位姿、夹爪控制信号以及多视角视频——为多模态融合算法提供了理想测试平台，尤其适用于评估模型在仅有本体感知信息时的泛化能力与鲁棒性。

实际应用

在实际工业场景中，该数据集所代表的数据形式与任务类型具有广泛的应用前景。例如，在汽车零部件装配、电子元件插件以及医疗器械组装等环节，机器人常需完成高精度的插入操作，且往往面临传感器受限或视觉遮挡的情况。利用该数据集训练的模型能够指导机器人仅依靠力矩感知与位置控制完成作业，显著提升产线适应性与节拍稳定性。此外，基于该数据的迁移学习方法可推广至不同工件尺寸与材料特性的场景，减少人工示教成本。在服务机器人领域，该工作也为精细化家庭操作（如插入电源插头）提供了可复用的控制框架，增强了机器人在非结构化环境中的自主决策能力。

衍生相关工作

围绕此类精密装配数据集，学术界已衍生出多项经典工作。在算法层面，研究人员基于该数据训练了扩散策略与基于Transformer的时序模型，实现了对多模态动作序列的高保真预测；通过结合逆强化学习，进一步从成功/失败标签中推断隐式奖励函数，优化了策略学习的效率。在系统层面，该数据推动了基于阻抗控制与动态运动基元的混合方法研究，使机器人在执行插入动作时能够自适应调节刚度以防止卡死。此外，数据格式与LeRobot平台的深度整合，催生了一批针对机器人操作数据的标准化工具链，如数据增强策略与跨本体迁移框架，有效降低了后续研究的复现门槛，并促进了机器人学习社区的数据共享文化。