yinongh/real_world_1_force_image

该数据集使用LeRobot创建，专注于机器人学任务，具体涉及插头插入插座的模拟操作。数据集包含5个episodes，总计171帧和15个视频，采用30fps的帧率。数据结构包括动作特征（如delta_x、delta_y等9维浮点数）、观测特征（如末端执行器内力、姿态、对齐的插座深度图像、初始插头深度图像、点云数据、相机外参、手腕相机深度和RGB图像、辅助相机图像等），以及时间戳和索引信息。这些数据用于训练和评估机器人控制模型，特别是基于视觉和力反馈的精细操作任务。

This dataset was created using LeRobot and focuses on robotics tasks, specifically simulating plug insertion into a socket. It contains 5 episodes, with a total of 171 frames and 15 videos, recorded at 30fps. The dataset structure includes action features (e.g., delta_x, delta_y, etc., in 9-dimensional float32), observation features (such as end-effector internal forces, pose, aligned socket depth images, initial plug depth images, point cloud data, camera extrinsics, wrist camera depth and RGB images, auxiliary camera images, etc.), along with timestamps and indices. These data are intended for training and evaluating robot control models, particularly for fine-grained manipulation tasks based on visual and force feedback.

搜集汇总

数据集介绍

构建方式

本数据集基于LeRobot框架构建，专注于机器人操作任务的数据采集与处理。数据通过脚本化设置采集，共收录5个完整操作片段（episodes），包含171帧图像及对应动作序列，总时长约5.7秒（30 FPS）。数据以Parquet格式存储动作与状态量，同时将视频流编码为MP4文件，确保高效存取。数据结构中明确划分了训练集（全部5个片段），并采用分块存储策略，每块容量上限1000个片段，便于扩展与分布式处理。特征设计涵盖9维连续动作空间（包含位置增量与旋转6D表示）、末端执行器内部力传感器读数（三轴线性力，映射至腕部相机坐标系）、以及4x4齐次变换矩阵表征的末端位姿。此外，数据集集成了多种视觉模态：腕部ZED Mini相机提供720p RGB图像与FoundationStereo深度图，辅助相机则记录一次性单一视角的RGB-D数据用于场景先验。通过深度图像对齐与初始点云渲染，实现对插头-插座装配等精细操作的支持。

特点

该数据集的显著特点在于多模态传感融合与精细动作表征的深度整合。除了常规的关节动作与末端位姿外，创新性地引入了末端执行器内部力传感数据，以腕部相机坐标系下的三轴线性力（fx, fy, fz）描述接触动力学，为力控策略学习提供了关键物理量。视觉方面，除了高分辨率（720p）腕部RGB视频流，还包含来自FoundationStereo算法的深度估计，其单位精确至米，满足触觉-视觉联合推理需求。一个独特之处在于设计了两种对齐的深度图像：其一通过对当前末端偏航角变化进行旋转补偿，生成对齐的插座深度图；其二利用辅助点云渲染初始插头深度图，为闭环装配提供时空先验。数据以30 FPS均匀采样，动作空间采用delta-x/y/z与旋转6D表示，避免欧拉角奇异性，适合学习平滑的运动策略。同时，多相机配置（腕部+辅助）支持灵活视角选择，而点云数据（初始腕部点云在世界坐标系下的表示）则为几何推理提供了结构化输入。

使用方法

本数据集专为机器人操作领域的模仿学习与强化学习任务设计，可直接通过LeRobot库加载使用。用户可通过指定配置名'default'，利用LeRobot的Dataset类读取Parquet文件中的动作、观测及状态数据，或通过VideoFrameLoader访问视频帧。数据集预划分为训练集（索引0至4的片段），适合直接用于策略训练。使用方法上，典型流程包括：利用'observation.images.cam_wrist'字段获取RGB图像流，结合'observation.eef_internal_forces'与'observation.eef_pose'作为观测空间输入，以'action'字段为监督信号训练条件策略。对于需要全局场景信息的场景，可使用'observation.images.cam_auxiliary.left'作为单帧先验图像，同时'observation.aligned_socket_depth_img'与'observation.init_plug_depth_img'可提供空间对齐引导。点云数据位于'observation.points.initial_wrist_points_world'中，适合结合PointNet等架构处理。开发者需注意，所有视觉特征均以float32格式存储，深度图数值分别对应米（腕部）与毫米（辅助），使用时应根据dtype进行类型转换与归一化。

背景与挑战

背景概述

在机器人操作领域中，力觉信息与视觉感知的深度融合是实现精密装配、灵巧抓取等复杂任务的关键技术路径。当前主流模仿学习方法多依赖高精度动作轨迹与视觉观测，但缺乏对操作过程中接触力的系统建模，难以应对需要力控反馈的精细作业。real_world_1_force_image数据集由HuggingFace LeRobot社区创建，基于Apache-2.0许可发布，旨在为机器人操作研究提供首个融合真实世界力觉信息与多模态视觉数据的标准化基准。该数据集包含5个示范片段、171帧时序数据，以30Hz频率记录末端执行器三轴内部力、六自由度位姿、对齐深度图及双视角RGB-D图像等特征，聚焦于插头-插座装配这一典型接触任务。作为LeRobot生态中少数集成力觉通道的公开数据集，其引入的"EEF内部力"与"对齐插座深度图"等新颖特征维度，为研究力-视融合的模仿学习算法提供了关键数据基础。

当前挑战

数据集所解决的领域挑战在于传统模仿学习范式对接触力信息的忽视。现有方案多假设操作过程可仅通过视觉和运动学完成推理，但在插拔装配、穿线等涉及连续接触力的任务中，视觉无法直接感知的微小接触力波动恰是成功与否的决定性因素。构建过程中面临多模态异构数据同步的复杂工程挑战：需将高频力传感器（1000Hz采样率）与30Hz的ZED Mini立体相机时序对齐，同时处理深度图旋转校正与点云坐标系变换。此外，力信号受重力分量与基座振动干扰的解耦、单次示范中手眼标定误差累积效应、以及5个片段在力模式多样性上的局限性，均对数据质量控制和泛化性评估构成严峻考验。

常用场景

经典使用场景

在机器人精细操作领域，该数据集聚焦于插拔装配这一典型接触性任务，通过记录五次完整操作的171帧时序数据，包含腕部相机RGB-D图像、末端执行器六维位姿及三轴内力信息，为模仿学习与强化学习研究提供了高保真的物理交互样本。研究者可利用其对齐的深度图和点云数据，训练机器人感知孔洞位置、调整姿态并完成精准插入，是验证力位混合控制与视觉伺服策略的理想基准。

解决学术问题

该数据集攻克了接触任务中高精度状态观测的瓶颈问题，通过提供IsaacGym坐标系下的末端内力及旋转对齐的插孔深度图，使得研究能量化分析装配过程中的力觉反馈与视觉信息融合机制。它为解决传统算法难以处理的非结构化装配场景中的柔顺控制、异常卡滞检测等挑战提供了标准化数据支撑，推动了从纯几何规划向多模态感知引导的范式演进。

衍生相关工作

基于此数据集衍生的代表性工作包括融合力觉与深度图像的扩散策略（Diffusion Policy）优化变体，以及利用辅助点云进行单样本装配规划的学习模型。此外，其录制的内模参考力数据催生了面向接触任务的力位解耦控制框架，还有团队基于其多视角图像开发了跨工况适配的视觉奖励函数，加速了机器人技能迁移研究。