yinongh/no_image_task2

该数据集是使用LeRobot创建的机器人学数据集，专注于机器人操作任务。数据集包含18个episodes、1137个frames和1个任务，所有数据均用于训练。数据以parquet格式存储，并包含72个视频。数据集的特征包括机器人动作（如delta_x、delta_y等9维向量）和多种观测数据，如末端执行器内部力、姿态、深度图像（如对齐的插座深度图像和初始插头深度图像）、点云数据（初始手腕点云）、相机外参矩阵以及来自手腕相机和辅助相机的RGB和深度图像。观测数据还包括时间戳、帧索引、episode索引等元信息。数据集的帧率为30fps，适用于机器人控制和学习任务的研究。This robotics dataset is developed using LeRobot, focusing on robotic manipulation tasks. It contains 18 episodes, 1137 frames, and 1 single task, with all data designated for training. The data is stored in Parquet format and includes 72 videos. The dataset features robotic action data (e.g., 9-dimensional vectors such as delta_x, delta_y) and multiple types of observational data: internal forces and poses of the end-effector, depth images (e.g., aligned socket depth image and initial plug depth image), point cloud data (initial wrist point cloud), camera extrinsic matrices, as well as RGB and depth images captured by the wrist camera and auxiliary cameras. The observational data also encompasses metadata such as timestamps, frame indices, and episode indices. The dataset has a frame rate of 30fps and is suitable for research on robotic control and learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人操作任务的模拟与记录。数据采集过程完全由脚本自动化控制，共收集18个完整回合（episode），总计1137帧数据，均用于训练集。每条样本以高效的Parquet格式存储，并辅以视频数据（MP4格式）记录视觉信息。数据特征囊括机器人末端执行器的9维动作增量（包括位置与旋转）、末端力传感器测量值、末端姿态矩阵（4×4），以及多种深度图像与点云信息，体现了从传感器原始数据到高层任务表征的完整映射。

特点

数据集的核心特色在于其多模态高维观测结构，融合了RGB图像、深度图、点云、末端力及位姿等多源信息。特别地，深度图像包括对齐后的插座深度图（结合末端偏航调整）、初始插头深度图（源于辅助点云渲染）以及由FoundationStereo方法生成的精密深度图。此外，数据集引入了一次性ZED相机捕获的辅助图像，为任务提供静态背景参照。数据命名清晰规范，按回合分块存储，便于检索与扩展。

使用方法

使用该数据集时，推荐通过LeRobot库进行加载与预处理。用户可直接读取Parquet文件中的结构化特征，如动作序列、观测状态及时间戳，并结合对应的视频文件同步获取视觉流。训练过程中，可将action字段作为监督信号，observation.*字段作为输入特征，适用于模仿学习或逆动力学模型构建。数据集已预划分18个回合为完整训练集，无需额外拆分，方便快速开展机器人技能学习实验。

背景与挑战

背景概述

该数据集由LeRobot框架创建，旨在通过机器人模仿学习解决精密插拔任务。收录的18个示范片段涵盖1137帧、单一任务，数据由多视角相机（腕部ZED Mini、Azure Kinect、辅助ZED）及力传感器采集，包含末端执行器位姿、内力、深度图像与点云等丰富模态。数据集聚焦于机器人灵巧操作的细粒度控制问题，为模仿学习算法提供标准化训练基准。

当前挑战

领域挑战在于精密插拔任务对末端执行器亚毫米级定位与柔顺控制的需求，现有强化学习方法难以高效处理高维视觉-力感知融合。构建挑战体现在：1) 多传感器标定（腕部相机与外部深度系统对齐）的零漂补偿；2) 单次演示中深度图与RGB的时空对齐；3) 从脚本化初始位姿到动态环境的泛化性不足；4) 18个示范片段的数据规模对复杂模型近似的限制。

常用场景

经典使用场景

在机器人操作领域，精密装配任务如插拔连接器对感知与控制精度要求极高。该数据集以无图像状态下的机器人插拔任务为核心，记录了18个回合、超过1100帧的时序数据，包含末端执行器位姿、六维力信息、深度图像及多视角视频。研究者可基于此数据训练模仿学习或强化学习模型，使机器人通过观察历史动作序列与力觉反馈，自主完成高精度的插接动作。数据集中动作空间涵盖三维平移与六维旋转的增量变化，为构建端到端的力位混合控制策略提供了理想基准。

衍生相关工作

基于此类精密装配数据，衍生出一系列代表性工作：如利用扩散策略（Diffusion Policy）在力觉空间进行轨迹规划，或将基础模型（如RT-2）微调至插拔任务。经典的《Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware》即借鉴了此类数据的多模态融合思想。此外，该数据集独有的辅助点云对齐方案，启发了《3D Diffuser Actor》等工作将三维几何先验融入策略网络，推动了机器人技能学习从粗放抓取向亚毫米级操作演进。

数据集最近研究

最新研究方向

该数据集聚焦于机器人精细操作领域中的插拔任务，通过融合多模态传感信息（包括腕部力觉、末端执行器位姿、深度图像及多视角RGB-D视频），为模仿学习与强化学习研究提供了高保真度的示范数据。其前沿方向在于利用预设的初始插头点云与对齐的插座深度图像，实现复杂几何约束下的自适应装配策略学习，这与当前机器人灵巧操作与具身智能的热点紧密相关。该数据集对推动低样本、高鲁棒性的工业级接触式任务建模具有显著意义，尤其为异构传感器融合与隐式物理交互建模提供了标准化评估基准。