ankile/real01c-insert-marker-d1-baseline-uniform-r0-25k-eval-sobol20

该数据集是一个机器人学数据集，专门用于机器人控制或强化学习任务，与LeRobot项目关联。数据集包含20个episodes，总计4654帧，采样频率为15fps，使用Franka机器人平台。数据以parquet格式存储，分为训练集（全部20个episodes）。数据集特征丰富，包括观测状态（如笛卡尔位置、关节位置、速度、夹爪位置）、动作（如笛卡尔速度、关节速度、夹爪动作）、奖励、成功标志、步骤计数、策略ID等。此外，还提供两个视频观测（来自不同视角，分辨率为480x640，3通道，h264编码），用于视觉输入。数据集适用于机器人操作任务的模型训练和评估，例如机械臂控制或策略学习。许可证：Apache-2.0 任务类别： - 机器人学 标签： - LeRobot 配置项： - 配置名称：default 数据文件：data/*/*.parquet --- 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 ## 数据集说明 - **项目主页**：[待补充更多信息] - **相关论文**：[待补充更多信息] - **许可证**：Apache-2.0 ## 数据集结构 [meta/info.json]： json { "codebase_version": "v3.0", "robot_type": "franka", "total_episodes": 20, "total_frames": 4654, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 15, "splits": { "train": "0:20" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "observation.state": { "dtype": "float32", "shape": [7], "names": ["cart_pos_x", "cart_pos_y", "cart_pos_z", "cart_rot_x", "cart_rot_y", "cart_rot_z", "gripper_position"] }, "action": { "dtype": "float32", "shape": [7], "names": ["vel_x", "vel_y", "vel_z", "vel_roll", "vel_pitch", "vel_yaw", "gripper_action"] }, "steps_to_go": { "dtype": "int64", "shape": [1], "names": ["steps_to_go"] }, "source": { "dtype": "int64", "shape": [1], "names": ["source_id"] }, "success": { "dtype": "int64", "shape": [1], "names": ["success_flag"] }, "is_valid": { "dtype": "int64", "shape": [1], "names": ["is_valid_flag"] }, "reward": { "dtype": "float32", "shape": [1], "names": ["reward"] }, "done": { "dtype": "int64", "shape": [1], "names": ["done_flag"] }, "policy_id": { "dtype": "int64", "shape": [1], "names": ["policy_id"] }, "round_id": { "dtype": "int64", "shape": [1], "names": ["round_id"] }, "action.cartesian_velocity": { "dtype": "float32", "shape": [6], "names": ["x", "y", "z", "roll", "pitch", "yaw"] }, "action.cartesian_position": { "dtype": "float32", "shape": [6], "names": ["x", "y", "z", "roll", "pitch", "yaw"] }, "action.joint_velocity": { "dtype": "float32", "shape": [7], "names": ["joint_0", "joint_1", "joint_2", "joint_3", "joint_4", "joint_5", "joint_6"] }, "action.joint_position": { "dtype": "float32", "shape": [7], "names": ["joint_0", "joint_1", "joint_2", "joint_3", "joint_4", "joint_5", "joint_6"] }, "action.gripper_position": { "dtype": "float32", "shape": [1], "names": ["gripper"] }, "action.gripper_velocity": { "dtype": "float32", "shape": [1], "names": ["gripper"] }, "observation.state.cartesian_position": { "dtype": "float32", "shape": [6], "names": ["x", "y", "z", "roll", "pitch", "yaw"] }, "observation.state.joint_position": { "dtype": "float32", "shape": [7], "names": ["joint_0", "joint_1", "joint_2", "joint_3", "joint_4", "joint_5", "joint_6"] }, "observation.state.joint_velocity": { "dtype": "float32", "shape": [7], "names": ["joint_0", "joint_1", "joint_2", "joint_3", "joint_4", "joint_5", "joint_6"] }, "observation.state.cartesian_velocity": { "dtype": "float32", "shape": [6], "names": ["x", "y", "z", "roll", "pitch", "yaw"] }, "observation.state.gripper_position": { "dtype": "float32", "shape": [1], "names": ["gripper"] }, "observation.images.18650758_left": { "dtype": "video", "shape": [480, 640, 3], "names": ["height", "width", "channels"], "info": { "video.height": 480, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 15, "video.channels": 3, "has_audio": false } }, "observation.images.25916956_left": { "dtype": "video", "shape": [480, 640, 3], "names": ["height", "width", "channels"], "info": { "video.height": 480, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 15, "video.channels": 3, "has_audio": false } }, "manifest_idx": { "dtype": "int64", "shape": [1], "names": ["manifest_idx"] }, "pen_x": { "dtype": "float32", "shape": [1], "names": ["pen_x"] }, "pen_y": { "dtype": "float32", "shape": [1], "names": ["pen_y"] }, "pen_yaw": { "dtype": "float32", "shape": [1], "names": ["pen_yaw"] }, "timestamp": { "dtype": "float32", "shape": [1], "names": null }, "frame_index": { "dtype": "int64", "shape": [1], "names": null }, "episode_index": { "dtype": "int64", "shape": [1], "names": null }, "index": { "dtype": "int64", "shape": [1], "names": null }, "task_index": { "dtype": "int64", "shape": [1], "names": null }, "intervention": { "dtype": "int64", "shape": [1], "names": ["intervention_flag"] } } } ## 引用 **BibTeX格式**： bibtex [待补充更多信息]

搜集汇总

数据集介绍

构建方式

在机器人学习领域中，高保真度的操控数据集是推动从模仿学习到强化学习等算法发展的基石。real01c-insert-marker-d1-baseline-uniform-r0-25k-eval-sobol20 数据集依托 LeRobot 框架构建，以 Franka 机器人平台采集精细插入任务数据。数据集涵盖 20 个完整回合，共计 4654 帧，采样频率为 15 FPS。数据以 chunk（每块 1000 帧）为单元组织，采用 Parquet 格式存储结构化信息，而视觉观测则封装为 H.264 编码的 MP4 视频文件，形成统一的多模态存储体系。所有轨迹通过均匀基线策略生成，确保状态与动作空间覆盖的广泛性与均衡性。

特点

该数据集的一个显著特征是其多维度的精细标注体系。不仅包含机器人运动学状态（如关节位置、速度、末端笛卡尔位姿）与动作指令（速度与位置的多种表示），还记录了 pen_x、pen_y、pen_yaw 等任务专属的末端工具姿态变量。尤为重要的是，数据集提供了 intervention 标志位，用以标记人类干预的节点，这对于分析人机协同及异常处理具有独特价值。同时，reward、success、steps_to_go 等奖励与进度指标的完备性，使其可直接用于强化学习环境中的奖励塑造与任务进度监控。

使用方法

使用该数据集时，研究人员可借助 LeRobot 库中的数据集加载工具快速读取 Parquet 和视频文件，并按 episode_index 或 frame_index 索引对轨迹进行切片。数据集未预先划分验证集，但提供了 train 分片覆盖全部 0 至 19 号回合，用户可根据需要自行拆分。对于模仿学习，可提取 observation.state 与 action 序列进行行为克隆训练；对于强化学习，则可利用 reward、done 与 steps_to_go 构建马尔可夫决策过程。视觉与状态信息的联合使用为多模态策略学习提供了丰富的数据基底。

背景与挑战

背景概述

在机器人操作技能学习领域，基于演示学习（Learning from Demonstration, LfD）与强化学习相结合的方法日益受到关注，尤其在高精度插销插入等精细操作任务中表现突出。该数据集创建于LeRobot框架（Hugging Face团队主导的机器人学习开源平台），核心研究问题聚焦于如何利用有限数量的专家演示数据，训练出具备泛化能力的机器人操控策略。数据集中包含20个示范片段，共计4654帧，记录了一台Franka机械臂执行单一插销插入任务的完整过程，特征涵盖空间位姿、关节状态、多视角视觉图像及任务进度标志等。这一数据集为评估和对比不同模仿学习算法（如行为克隆、扩散策略）提供了标准化基准，对推动真实机器人环境下精细操作技能的自主学习发展具有重要参考价值。

当前挑战

该数据集所应对的领域挑战在于插销插入这一非精确装配任务，其要求机器人同时协调末端执行器的微米级位移与力矩感知，传统基于模型的控制方法难以处理接触状态的非线性与不确定性。构建过程中亦面临多重困难：一是有限的20个示范片段难以覆盖全部任务变体，策略针对自然扰动（如初始位姿微小偏移）的鲁棒性尚需验证。二是高维状态空间与动作空间（包含笛卡尔速度、关节位置、夹爪控制等多类模态）的同步采集与对齐，对传感器标定与时间同步精度提出严苛要求。三是示范数据中夹杂人工干预标记与成功标志，需处理异构标签的融合问题，以避免误导后续模型训练。

常用场景

经典使用场景

在机器人操作领域，real01c-insert-marker-d1-baseline-uniform-r0-25k-eval-sobol20数据集专为精密插拔任务而设计，其核心应用场景集中于基于视觉与力觉融合的机械臂高精度操控学习。该数据集利用Franka机器人平台，采集了20个示范片段，涵盖了从初始位置到成功插入标记物的完整动作轨迹，为模仿学习与强化学习提供了高质量的专家演示。通过记录7维末端执行器状态、关节变量以及多视角视觉信息，研究者能够训练智能体在连续动作空间中复现精准的插拔策略，尤其适用于需要亚毫米级定位精度的工业装配场景。

衍生相关工作

该数据集催生了多项标志性研究工作，包括基于扩散策略的插拔动作生成方法、采用对比学习的视觉表示预训练范式，以及结合能量模型的鲁棒控制框架。在LeRobot社区中，它被作为标准基准用于评判不同网络架构——如Transformer与卷积长短时记忆网络——在序列建模中的表现。此外，围绕该数据集衍生出的多任务学习框架，通过共享状态表示实现了跨产品型号的快速迁移，推动了通用操作基座模型的发展。其开源特性亦促进了机器人领域可复现研究的繁荣。

数据集最近研究

最新研究方向

该数据集聚焦于机器人操作中的精细化动作控制与高保真示范学习，尤其针对Franka机械臂在插入任务中的精准轨迹规划。结合实时视觉反馈与多维度状态空间（包括笛卡尔位姿、关节状态及末端夹爪信息），数据集为模仿学习与强化学习提供了丰富的多模态训练样本。当前前沿研究方向涵盖基于扩散策略的灵巧操作、逆强化学习中的奖励函数塑造，以及针对小样本场景下的机器人自我纠错机制。该数据集的开放发布，有望推动机器人从固定动作库向具备自适应调整能力的通用操作智能体演进。