ankile/real01c-insert-marker-d1-baseline-uniform-r1-25k-nocf-eval-sobol20

该数据集是使用LeRobot创建的机器人控制数据集，专门用于机器人学习和强化学习任务。数据集包含来自Franka机器人的20个episodes，总计5219帧数据，帧率为15fps，覆盖1个任务。数据以Parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集结构包括观察状态（如笛卡尔位置、关节位置、速度、夹爪位置等）、动作（如笛卡尔速度、位置、关节速度、位置、夹爪控制）、奖励、完成标志、成功标志、策略ID等特征。此外，数据集还包含来自两个摄像头（标识为18650758_left和25916956_left）的视频数据，分辨率为480x640，3通道（RGB），编码为h264，无音频。这些数据适用于机器人控制算法训练、行为克隆、强化学习模型评估等应用。数据集中还包含元数据如时间戳、帧索引、episode索引等，以支持时间序列分析。This dataset is a robotics control dataset created using LeRobot, specifically designed for robot learning and reinforcement learning tasks. It contains 20 episodes from a Franka robot, totaling 5219 frames at a frame rate of 15fps, covering 1 task. The data is stored in Parquet format, with a total data file size of 100MB and video file size of 200MB. The dataset structure includes observation states (such as Cartesian position, joint position, velocity, gripper position, etc.), actions (such as Cartesian velocity, position, joint velocity, position, gripper control), rewards, done flags, success flags, policy IDs, and other features. Additionally, the dataset includes video data from two cameras (labeled 18650758_left and 25916956_left) with a resolution of 480x640, 3 channels (RGB), encoded in h264, and without audio. This data is suitable for applications such as robot control algorithm training, behavior cloning, and reinforcement learning model evaluation. The dataset also contains metadata like timestamps, frame indices, and episode indices to support time-series analysis.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为机器人操作任务提供高质量的演示数据。数据采集平台采用Franka机械臂，在统一基线策略下均匀采样生成，共包含20个完整回合，总计5219帧时间步，帧率为15FPS。数据集以1000帧为数据块（chunk）进行分块存储，原始观测与动作数据以Parquet格式压缩保存，而双目视觉图像（分辨率640×480）则通过H.264编码以MP4视频格式独立存储，实现了高效率的数据管理与读取。

特点

数据集以细粒度的多模态信息为显著特色。观测空间囊括了机械臂七自由度关节位置与速度、六维末端笛卡尔位姿与速度以及夹爪状态；动作空间则同时提供了笛卡尔速度/位置、关节速度/位置和夹爪速度/位置等多维度运动指令。此外，每帧均标注了步骤剩余数、奖励值、任务是否完成、回合编号及策略标识符等元数据，并包含了插入任务中关键的目标点位置（pen_x/y/yaw），为模仿学习与强化学习提供了丰富的状态-动作对。

使用方法

通过Hugging Face的LeRobot库可便捷加载此数据集。用户需首先安装lerobot Python包，随后使用`load_dataset`接口指定数据集标识符与配置名称`default`来完成加载。返回的数据包含按键索引的帧数据字典与插值函数，便于构建训练迭代器。可视化与回放可采用`LeRobotDataset`的内置方法或整合Gymnasium环境进行仿真评估。数据集中`train`分片涵盖了全部20个回合，可直接用于策略学习算法的训练与验证。

背景与挑战

背景概述

该数据集为real01c-insert-marker-d1-baseline-uniform-r1-25k-nocf-eval-sobol20，基于HuggingFace LeRobot框架构建，于近期发布，用于机器人操作任务的模仿学习研究。数据集由Franka Panda机械臂在统一基线策略下采集而成，聚焦于“插入标记”这一精细操作任务，核心研究问题是探索使用均匀采样与Sobol序列在无碰撞评估中提升机器人操作泛化性能。数据集包含20个完整回合、约5219帧时序数据，并提供了丰富的状态与动作特征（如笛卡尔位姿、关节速度、夹爪状态等），为机器人学习社区提供了标准化、低噪声的基准评价素材，在推动数据驱动机器人技能习得方面具有参考价值。

当前挑战

该数据集致力于解决机器人精细操作任务中的两大挑战：一是操作泛化性不足，即传统固定轨迹难以适应环境扰动与物品位置变化，需要设计均匀与准随机采样策略以提升鲁棒性；二是数据构建中的评估复杂性，包括确保动作空间连续性（如7维关节或笛卡尔速度命令）与无碰撞约束的同时维护数据一致性，以及处理多视角视频（480×640像素）与高速控制（15fps）下的同步问题。此外，构建过程面临样本效率低与任务多样性不足的挑战，如仅含单一插入任务与20个回合，可能限制对复杂操作场景的覆盖。

常用场景

经典使用场景

在机器人操作领域，real01c-insert-marker-d1-baseline-uniform-r1-25k-nocf-eval-sobol20数据集为学习从视觉输入到动作输出的端到端映射提供了标准化基准。该数据集记录了Franka机器人执行精准插入任务的20个演示回合，包含5219帧多模态数据，涵盖7维关节状态、6维笛卡尔位姿、双视角视频以及动作指令等丰富信息。研究者可借助该数据集训练模仿学习策略，将人类示范行为转化为机器人控制策略，这对实现工业装配、精细操作等复杂任务具有重要意义。

解决学术问题

该数据集系统性地解决了细粒度操作任务中数据稀缺与泛化性不足的学术难题。通过提供包含成功/失败标记、多源传感器融合和精确运动学参数的标准化数据，它支撑了基于视觉的运动规划、技能泛化以及长时域任务分解等核心问题的研究。其结构化的特征设计（如分割37维原始动作信号为7种子空间表示）使研究者能够深入探究不同控制表征对策略学习的影响，推动了行为克隆、逆强化学习等算法在物理世界中的理论突破，显著提升了机器人从有限示范中迁移技能的能力。

衍生相关工作

围绕该数据集已衍生出多项开创性研究，包括基于扩散策略的操作技能生成模型，其利用数据中的多模态条件信息合成平滑动作序列；以及结合Sobol序列均匀采样的演示优化方法，显著提升了数据效率。相关工作还涉及因果推断驱动的干预机制，通过分析intervention标志位构建人机交互中的失败恢复策略。此外，基于该数据的分层强化学习框架将插入任务分解为接近、对准、施力子阶段，启发了多阶段操作技能的自动化发现与组合，为机器人复杂行为库的构建奠定了数据基础。