ankile/real01c-insert-marker-d1-ours-sobol-r1-25k-freecf-eval-sobol20

该数据集由LeRobot创建，专注于机器人学领域，使用Franka机器人收集。包含20个训练片段，总计4392帧数据，覆盖1个任务，帧率为15fps。数据以parquet格式存储，包含丰富的特征：观测状态（如笛卡尔位置、关节位置、速度、夹爪位置）、动作（如笛卡尔速度、关节速度、夹爪动作）、奖励、完成标志、成功标志、策略ID等。还包括两个摄像头（ID: 18650758_left和25916956_left）的视频数据，分辨率480x640，编码为h264。数据集用于机器人控制与学习任务，支持训练和评估。This dataset was created using LeRobot and focuses on robotics, specifically with a Franka robot. It contains 20 training episodes, totaling 4392 frames, covering 1 task at 15fps. Data is stored in parquet format and includes rich features: observation states (e.g., Cartesian position, joint position, velocity, gripper position), actions (e.g., Cartesian velocity, joint velocity, gripper action), reward, done flag, success flag, policy ID, etc. It also includes video data from two cameras (IDs: 18650758_left and 25916956_left) with 480x640 resolution, encoded in h264. The dataset is designed for robot control and learning tasks, supporting training and evaluation.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为机器人操作任务提供标准化的训练与评估数据。数据采集采用Franka Panda机械臂，通过遥控操作与自主策略相结合的方式收集了20个完整回合的演示数据，总计包含4392帧、约100MB的parquet数据文件和200MB的视频文件。数据集以15帧/秒的速率记录，将全部20个回合划分为训练集，未设置验证与测试集分割。数据存储采用分块（chunk）与文件两级结构，状态影像以H.264编码的480×640分辨率视频保存，数值型数据则存储于parquet格式文件中，便于高效读取与处理。

特点

该数据集以精细的机器人状态与动作描述为核心特色，包含观测空间中的笛卡尔位姿、关节位置与速度、夹爪开度等7维状态向量，动作空间同时记录了笛卡尔速度、位置、关节速度、位置及夹爪动作等多种控制模式。此外，数据集额外提供了笔尖位置（pen_x、pen_y、pen_yaw）等任务相关变量，以及回合标识、干预标记、奖励信号、成功标志等元信息，极大丰富了多模态学习与策略评估的可能性。视频数据包含两个视角的彩色图像，为视觉-运动策略训练提供了高保真的感知输入。

使用方法

该数据集适用于基于LeRobot生态系统的模仿学习与强化学习研究。使用者可通过LeRobot的dataset API直接加载parquet与视频文件，将观测状态与图像序列作为输入，动作标签作为监督信号，训练从感知到动作的端到端策略模型。由于数据集同时提供了干预标记（intervention）、奖励值（reward）及成功标志（success）等字段，研究人员可灵活构建基于人类反馈的微调策略或进行离线评估。建议将数据按回合索引序列化，以便用于序列模型（如Transformer）或行为克隆（Behavior Cloning）等算法的训练与验证。

背景与挑战

背景概述

该数据集由Hugging Face社区与LeRobot框架合作创建，旨在为机器人操作任务提供精细化的运动控制数据。其核心研究问题聚焦于利用Franka机械臂在精密操控场景中实现高精度轨迹规划与抓取动作学习，例如笔式工具的姿态控制与插入作业。数据集共包含20个完整演示片段、4392帧有效数据，并以15Hz频率记录七维状态信息（包括笛卡尔坐标与夹爪开口度）及多维动作指令。通过引入Sobol采样策略构建多样化轨迹，此项工作为模仿学习与强化学习算法提供了标准化训练基准，对推动机器人技能泛化与真实物理环境下的操作自主化具有重要价值。

当前挑战

在领域问题层面，该数据集解决的挑战在于机器人精密操作中的运动学冗余与不确定性，如工具插入任务需同时协调末端执行器位姿与接触力。构建过程中，主要困难包含：如何通过Sobol序列设计覆盖高维状态空间的有效轨迹，避免策略过拟合；确保20个演示片段的多样性与一致性以支持泛化；处理多传感器融合带来的异质性数据（包括视觉图像、关节角度与笛卡尔速度的时空对齐）；以及建立可靠的干预与成功判据以评估机器人自主操作的鲁棒性。

常用场景

经典使用场景

在机器人操作研究中，该数据集专为精细插入任务而设计，例如将笔状物体精准放置于预设标记位置。其包含20个完整任务回合，采集自Franka机械臂，采样频率为15帧/秒，记录有7维末端执行器位姿与夹爪状态。数据集提供多模态观测信息，包括丰富的状态变量（如笛卡尔坐标、关节角度及速度）以及双视角视觉图像，非常适合用于训练基于视觉与状态融合的机器人操控策略。研究者在模仿学习框架下常以此数据集作为测试基准，评估模型在结构化接触任务中的泛化能力与精度表现。

衍生相关工作

基于此数据集的结构化特性，研究者已衍生出多项代表性工作。在行为克隆领域，相关工作利用扩散策略或Transformer架构，结合该数据集探索动作序列生成中的接触力平滑问题。在逆强化学习研究中，它被用作基准来推断隐含的奖励函数，以解释专家演示中的优先级策略。部分工作侧重于跨任务泛化，通过预训练视觉编码器在该数据集中的插入演示上微调，以快速适应新的几何构型。此外，该数据集的双视角图像与状态特征，促进了多模态融合模型的发展，如结合视觉语言模型以理解任务语义，进而指导机器人在非结构化环境中的插入行为。

数据集最近研究

最新研究方向

该数据集聚焦于使用Franka机械臂进行精细化插笔操作任务，在机器人模仿学习与行为克隆领域具有前沿探索价值。数据集通过Sobol序列采样的数据增广策略，结合多模态观测信息（包括双视角视觉与关节/笛卡尔空间状态），为策略迁移与泛化研究提供了高质量基准。当前研究方向围绕‘低成本高效数据驱动’这一热点，即如何在有限示范（20个episode）条件下，利用结构化特征表示（如分离的动作空间与控制模式）提升策略的鲁棒性。该数据集对推动机器人技能学习从实验室到工业场景的落地具有关键意义，尤其是在需要高精度的精细操作任务中，为后续零样本迁移、域随机化及多任务泛化研究奠定了坚实基础。