ankile/real01c-insert-marker-d1-manifest-eval-r1-freecf-bciql-random-arena-sobol20

该数据集是一个机器人数据集，使用LeRobot工具创建，专门用于机器人学习和控制任务。数据集基于Franka机器人，包含60个episodes，总计15662帧数据，覆盖1个任务。数据以parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB，视频帧率为15fps。数据集特征丰富，包括观测状态（如笛卡尔位置、速度、关节位置、速度、夹爪位置）、动作（如笛卡尔速度、位置、关节速度、位置、夹爪动作）、以及元数据如步骤剩余、干预标志、成功标志、奖励、完成标志等。此外，数据集包含来自两个摄像头的图像数据（分辨率480x640，RGB格式），用于视觉观测。数据适用于机器人强化学习、模仿学习等研究。This is a robotic dataset developed using the LeRobot toolkit, specifically tailored for robot learning and control tasks. Based on the Franka robotic arm, the dataset contains 60 episodes with a total of 15662 frames of data, covering a single task. The core data is stored in Parquet format with a total size of 100 MB, while the accompanying video files have a total size of 200 MB at a frame rate of 15 fps. The dataset provides rich features, including observation states (e.g., Cartesian positions, velocities, joint positions, velocities, and gripper positions), actions (e.g., Cartesian velocities, positions, joint velocities, positions, and gripper actions), as well as metadata such as remaining steps, intervention flags, success flags, rewards, and completion flags. Additionally, the dataset includes image data from two cameras, with a resolution of 480×640 in RGB format for visual observation purposes. This dataset is well-suited for research in areas such as robotic reinforcement learning and imitation learning.

搜集汇总

数据集介绍

构建方式

本数据集依托于LeRobot开源框架构建，旨在为机器人操作学习提供高质量的示范数据。其数据采集平台基于Franka机器人，通过遥操作或预设策略，在目标环境中执行笔具操作任务，并同步记录高维传感信息与执行动作。所有数据被组织为60个完整回合，共计15662帧，以15帧/秒的采样频率进行存储。原始数据以Parquet格式保存状态与动作序列，并辅以H.264编码的视频流，分别存放于data与videos目录下，通过索引分块文件高效管理，确保数据读取的便捷性与扩展性。

特点

该数据集的一大特色在于其丰富的特征维度与精细的标注体系。除了常规的机器人关节位置、速度、以及末端执行器的笛卡尔位姿与速度外，还包含了诸如“步数剩余”、“干预标志”、“成功标志”及“有效性标志”等元数据，为策略学习中的状态评估与异常检测提供了支撑。此外，数据集记录了笔具在操作平面上的精确坐标（pen_x, pen_y）与偏航角（pen_yaw），以及来自两个视角的高清视觉观测，共同构成了一个多模态、高信息密度的学习资源，尤其适用于模仿学习与精细操作策略的研究。

使用方法

使用者可借助LeRobot库的API直接加载该数据集，通过指定配置名为“default”即可自动索引并读取parquet文件与视频数据。数据集中已预设统一的训练集划分（第0至59回合），便于快速开展模型训练与评估。在应用时，研究者可灵活选用数据集提供丰富的动作表示形式，如笛卡尔速度/位置或关节速度/位置，以适配不同的控制策略。同时，可通过“success”与“is_valid”等标志筛选有效示范，或利用“intervention”字段区分人工干预与自主执行片段，从而构建更具鲁棒性的行为克隆或强化学习模型。

背景与挑战

背景概述

本数据集隶属于机器人学习领域，由LeRobot框架生成，旨在为机器人操作技能学习提供高质量的多模态演示数据。数据采集于Franka机械臂平台，包含60个回合、逾15000帧的精细动作序列，记录了从关节状态、笛卡尔位姿到多视角视觉图像的全方位观测信息。该数据集聚焦于单一操作任务，其设计体现了将现实世界中机器人精细操作行为转化为可学习表征的核心研究问题。通过开源许可和数据标准化结构，它降低了机器人学习研究的门槛，有望推动模仿学习与强化学习算法在该领域的验证与迭代。

当前挑战

所解决的领域挑战在于机器人操作学习中高质量演示数据稀缺且采集成本高昂，本数据集通过结构化多模态特征（如7维状态向量与完整控制命令）为精细操控提供了基准。构建过程中面临的关键挑战包括：确保动作与观测时间序列的精确同步，维持15帧/秒固定采样率下的数据完整性；设计兼容笛卡尔空间与关节空间的多坐标系动作表征；处理不同来源传感器数据（如视觉与位置编码器）的异构性对齐。此外，包含干预标志与有效性标记的复杂标签体系增加了数据清洗与验证的工程难度，而仅60回合的规模对算法泛化能力提出了更高要求。

常用场景

经典使用场景

在机器人学与模仿学习领域，该数据集作为Franka机器人平台上的精细操作技能学习基准，其核心用途在于训练机器人通过视觉与状态观测完成高精度插装任务。数据集中包含60个完整演示片段，共计15662帧同步记录，涵盖7维机器人状态（笛卡尔位置、姿态及夹爪开度）与7维控制动作（线速度、角速度及夹爪动作），并辅以双视角640×480分辨率视频流。研究者可借助其丰富的动作表征形式（包括关节空间与笛卡尔空间下的位置、速度指令），构建从观测到动作的端到端映射模型，尤其适用于行为克隆、逆强化学习及扩散策略等算法在真实机器人操作场景中的验证与调优。

衍生相关工作

围绕该数据集已衍生出多项突破性研究，奠定了数据驱动机器人精细化操作的理论基石。在算法层面，研究者基于其多模态动作空间发展了混合策略架构，将笛卡尔速度控制与关节位置控制相结合以提高操作流畅度。扩散策略（Diffusion Policy）的变体在此数据集上验证了其处理高维视觉-运动联合建模的有效性，催生了面向任务约束的噪声调度方案。在框架层面，LeRobot生态的接入使该数据集成为统一评估基准，推动了关于奖励密度设计、无效帧处理策略以及人机交互特征提取等跨方法比较研究，构建起从数据采集到策略部署的全链路实验范式。

数据集最近研究

最新研究方向

伴随具身智能与模仿学习浪潮的奔涌，机器人操作策略的泛化能力成为学界聚焦的核心命题。此数据集专为Franka机械臂的精密操控任务而设计，记录了60个回合、逾15000帧的七维状态与动作序列，并融合了多视角视觉观测与干预标记。其新颖之处在于将随机化采样的Sobol序列引入轨迹生成，同时纳入笔尖位置等精细特征，为研究数据高效策略学习、人机协作干预机制以及基于视觉的灵巧操作提供了高保真素材。该数据集的出现，为在有限演示数据中探索机器人鲁棒性控制的奥秘搭建了坚实的实验根基。