ankile/real01c-insert-marker-d1-ours-iql-r2-freecf

该数据集是使用LeRobot创建的机器人学数据集，专门针对Franka机器人。它包含50个训练片段，总计15515帧数据，数据以Parquet格式存储，视频以MP4格式存储，帧率为15fps。数据集涵盖了多种观测特征，包括机器人的状态（如笛卡尔位置、关节位置、速度、夹爪位置）和动作特征（如笛卡尔速度、关节速度、夹爪动作）。此外，还包含来自两个不同视角的图像观测（分辨率480x640），以及任务相关指标如成功标志、奖励、干预标志等。该数据集适用于机器人控制、强化学习等研究任务。This dataset is a robotics dataset created using LeRobot, specifically for the Franka robot. It contains 50 training episodes with a total of 15,515 frames, stored in Parquet format for data and MP4 format for videos at a frame rate of 15fps. The dataset includes various observation features such as robot state (e.g., Cartesian position, joint position, velocity, gripper position) and action features (e.g., Cartesian velocity, joint velocity, gripper action). Additionally, it provides image observations from two different perspectives (resolution 480x640) and task-related metrics like success flags, rewards, and intervention flags. This dataset is suitable for research in robotics control, reinforcement learning, and related areas.

搜集汇总

数据集介绍

构建方式

real01c-insert-marker-d1-ours-iql-r2-freecf 数据集基于 LeRobot 框架构建，采用 Franka 机器人平台，通过混合策略采集了 50 个回合的高保真演示数据，总计 15,515 帧。数据以分块形式存储于 Parquet 文件中，同时关联 H.264 编码的 MP4 视频，分别观测左右两个摄像头视角的 480×640 图像。原始状态与动作信息涵盖笛卡尔空间位姿、关节角度、速度及夹爪状态，并额外标注了任务进度、干预标志、成功标志及奖励信号，形成多维度的训练样本。

特点

该数据集的核心特色在于其多模态与细粒度的标注体系。它不仅包含 7 维的状态与动作空间，还提供了笛卡尔速度、位置及关节层级的多重动作表示，适配不同控制策略。丰富的辅助信息如 step_to_go、intervention 和 is_valid 标志，以及笔尖坐标等环境变量，使得数据可用于模仿学习、离线强化学习及策略评估。视频与状态数据同步，且全部数据量约 300 MB，适合中等规模的机器人学习研究。

使用方法

用户可借助 LeRobot 库便捷调用该数据集，将其分割为训练集后，直接读取 Parquet 文件与视频帧。状态观测和动作向量可直接用于构建策略网络，辅助特征如 reward 和 done 可用于强化学习环境。推荐在模仿学习算法（如行为克隆）或离线 RL（如 IQL）中，利用 intervention 标志筛选人类介入的示范片段，并结合视觉与状态输入训练鲁棒的机器人操控模型。

背景与挑战

背景概述

在机器人学习领域，模仿学习与离线强化学习的融合正成为提升机器人操作技能的关键路径。该数据集名为real01c-insert-marker-d1-ours-iql-r2-freecf，由Hugging Face LeRobot社区创建，采用Franka机器人平台，聚焦于单一任务——插入标记物。数据集包含50个示范片段，总计15,515帧，记录了从笛卡尔位置到关节状态及多视角视觉输入的全面观测信息，并附有干预、成功标志及奖励等关键标签。其设计旨在为离线强化学习算法（如IQL）提供高质量的示范数据，推动机器人从示教中学习精细操作的能力。该数据集在机器人学习基准测试中具有重要价值，为研究任务简洁、数据高效的机器人技能获取提供了标准化测试平台。

当前挑战

该数据集所解决的领域挑战在于缩小仿真与真实环境间的鸿沟，使机器人能够通过少量示范学习精确插入等复杂操作。构建过程中的挑战主要体现在数据采集的精确性与一致性：需要同步记录7自由度关节状态、6维笛卡尔速度及高帧率视觉数据，同时确保干预与成功标志的准确标注。此外，仅有50个片段的小样本规模对算法的泛化能力提出严峻考验，要求模型能从有限演示中提取通用策略，并应对观测噪声与执行误差。数据模态的多样性（如多视角视频与多类动作表示）也增加了特征融合与学习的难度，促使研究者在数据集设计上寻求平衡，以提升离线学习在真实机器人控制中的鲁棒性。

常用场景

经典使用场景

在机器人操作领域，精细化的插入任务一直是衡量算法鲁棒性与泛化能力的关键基准。该数据集基于Franka机械臂，聚焦于标记笔插入这一典型装配场景，通过采集50个演示回合、超过1.5万帧高保真数据，为模仿学习与离线强化学习提供了标准化的训练与评估平台。每条轨迹记录了7维机器人状态（包括笛卡尔位姿与夹爪开合度）与对应的控制动作，还包含了奖励信号、任务完成标志以及动作干预标识。这些结构化数据尤为适合用于训练视觉-运动策略，例如基于行为克隆、隐式Q学习（IQL）或扩散策略的方法，通过对齐视觉观测与连续动作空间来学习精细的力位混合控制策略。

解决学术问题

该数据集有效回应当前机器人学习中数据稀缺与动作精度要求高的双重挑战。在学术层面，其核心价值在于为离线强化学习中的分布偏移问题提供可控的测试环境。通过同时提供笛卡尔空间与关节空间的动作表征，研究者能够深入比较不同动作表征方式对策略泛化能力的影响。此外，数据集中包含的干预标志位允许分析人类示教偏差对策略学习的影响，而成功标志则支撑了稀疏奖励下的信用分配研究。这一数据集的发布推动了从非结构化示教到精确装配知识的可迁移学习范式，为构建高鲁棒性、可复现的机器人学习基准奠定了数据基石。

衍生相关工作

围绕该数据集构建的数据特性，已衍生出若干具有启发性的研究工作。在算法层面，研究者基于其丰富的动作模态开发了混合动作表征学习框架，将笛卡尔速度与位置控制统一建模，提升了策略在接触任务中的柔顺性。在数据增强领域，该数据集被用作构建逆动力学模型的标准参考，推动了基于潜在空间插值的跨场景泛化研究。此外，干预标志与成功标志的联合标注启发了一种面向精细操作的异常检测方法，通过对比示教轨迹与策略执行轨迹的偏差来发现潜在的碰撞与失稳模式。这些工作共同扩展了该数据集在机器人学习学术生态中的影响边界。