omx_bilateral_force_v2

该数据集由LeRobot框架创建，名为omx_bilateral_force_v2，是一个面向机器人操作学习的数据集。数据集包含28个episode，总计70882帧，覆盖3个不同任务。机器人类型为omx_follower。数据特征包括：动作（action）为6维浮点向量，对应6个关节位置（shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper）；状态（observation.state）为11维浮点向量，包含上述6个关节位置以及5个关节力信息（force.shoulder_pan等）；视觉观测（observation.images.overhead）为来自顶视图的RGB视频，分辨率480x640，帧率30fps，编码为AV1；此外还有时间戳、帧索引、episode索引、任务索引等辅助字段。数据以parquet格式存储，视频以mp4格式存储。数据集可用于机器人模仿学习、强化学习、力控制等研究。This dataset is created by the LeRobot framework, named omx_bilateral_force_v2, and is a dataset for robot manipulation learning. It contains 28 episodes with a total of 70882 frames, covering 3 different tasks. The robot type is omx_follower. Data features include: action (6-dimensional float vector corresponding to 6 joint positions: shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper); observation.state (11-dimensional float vector containing the above 6 joint positions and 5 joint force information such as force.shoulder_pan); observation.images.overhead (RGB video from an overhead view, resolution 480x640, frame rate 30fps, encoded with AV1); additionally, auxiliary fields such as timestamps, frame index, episode index, and task index are included. The data is stored in parquet format, and videos are stored in mp4 format. The dataset can be used for research in robot imitation learning, reinforcement learning, force control, etc.

原始信息汇总

• 数据集名称: omx_bilateral_force_v2
• 许可证: Apache 2.0
• 任务类别: 机器人技术（Robotics）
• 相关标签: LeRobot
• 创建工具: 该数据集通过 LeRobot 框架创建，并支持通过 Hugging Face 平台的可视化空间预览数据。
• 数据集结构:
  • 代码版本: v3.0
  • 帧率: 每秒 30 帧
  • 机器人类型: omx_follower
  • 数据总量: 28 个任务片段，共 70882 帧，包含 3 个任务
  • 数据文件大小: 约 100 MB（Parquet 格式），视频文件大小约 200 MB（MP4 格式）
  • 数据划分: 训练集包含全部 28 个片段（splits: train: 0:28）
• 数据特征:
  • 动作 (action): 包含 6 个关节位置指令，具体为肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置。
  • 观测状态 (observation.state): 包含 11 维数据，由 6 个关节位置和 5 个力传感器读数（肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转）组成。
  • 图像观测 (observation.images.overhead): 提供俯视摄像头视频，分辨率为 480x640 像素，带 RGB 三通道，采用 AV1 编码，帧率 30 fps。
  • 时间戳 (timestamp): 记录每帧的时间戳。
  • 索引信息: 包括帧索引、片段索引、全局索引和任务索引。
• 数据格式: 数据以 Parquet 文件存储，路径为 data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet；视频以 MP4 文件存储，路径为 videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4。
• 引用信息: 目前缺少引用论文或相关文献条目（标记为“More Information Needed”），且首页和论文信息尚未提供。

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架完成构建，面向机器人操作任务中的双边力控场景进行数据采集。构建过程共采集31个操作回合，累计84337帧，采样频率为30Hz，形成3类任务示范。每个时间步同步记录动作指令、机器人本体状态、关节力信息以及顶部视角视频，动作与状态均以关节位置表示，状态向量额外融合五个关节维度的力信号，最终以Parquet列式存储与AV1编码视频分别保存时序数据和视觉观测，形成多模态机器人学习数据集。

特点

数据集的核心特征在于状态向量同时包含六维关节位置与五维关节力信息，构成11维观测，使策略学习能够同时感知运动学与接触力信息。视觉模态提供480×640分辨率的顶部视图，为操作场景理解提供空间线索。数据以30Hz帧率覆盖31个回合、84337帧与3类任务，并按照chunk与file两级目录组织，兼顾大规模读写效率与训练灵活性。数据集采用Apache-2.0许可，遵循LeRobot标准结构，便于与现有机器人学习工具链对接。

使用方法

使用该数据集时，可借助LeRobot提供的可视化工具在线浏览回放，了解任务执行与力信号变化。训练阶段，可通过标准数据加载接口读取Parquet文件中的时序数据，并依据meta/info.json中的特征定义解析动作、状态以及视频字段，构建模仿学习或力感知策略模型。数据路径遵循data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet与videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4的组织方式，便于按块索引与批处理加载。

背景与挑战

背景概述

机器人学习领域长期依赖视觉与本体感知信息，而力觉反馈在精细操作中同样至关重要。omx_bilateral_force_v2数据集由研究人员masato-ka基于LeRobot框架构建，于2024年发布，旨在为双臂力控操作提供包含视觉、关节位置与关节力矩的多模态数据。该数据集包含31个回合、84337帧，涵盖3项任务，机器人类型为omx_follower，观测状态融合了11维信息（6维关节位置与5维力/力矩）。其核心研究问题在于如何利用力反馈提升机器人操作的柔顺性与适应性，对力觉引导的模仿学习与强化学习研究具有推动作用。

当前挑战

该数据集所应对的领域问题是力觉引导的机器人精细操作，要求策略在视觉与本体感觉之外融合关节力矩信号，实现接触密集任务中的柔顺控制。构建过程中面临的挑战包括：力传感器信号易受噪声与温度漂移干扰，需精确标定与同步；多模态数据（视频、位置、力）在30fps下需严格时间对齐；任务设计需涵盖多样接触场景以确保泛化性；此外，数据规模（31回合）相对有限，可能制约高容量模型的训练效果，且缺乏真实世界力交互的丰富变化，对策略的鲁棒性构成考验。

常用场景

经典使用场景

在机器人学习领域，机械臂的精细操作任务长期依赖视觉反馈与位置控制的协同，然而接触密集型操作对力觉信息的依赖尤为突出。omx_bilateral_force_v2数据集恰为此类研究提供了经典范式，其核心使用场景聚焦于基于力觉与视觉多模态融合的模仿学习。研究者借助该数据集，可训练策略网络直接从原始视觉观测与关节力矩信号中学习复杂的操作技能，例如插拔、旋转与柔顺装配等任务。数据集所包含的六自由度动作指令与十一维状态观测（含五维力/力矩分量），为端到端的力位混合控制策略提供了充分的监督信号，使得机器人能够在非结构化环境中实现类似人类的柔顺交互。

解决学术问题

该数据集直面机器人学习中的若干长期挑战：一是如何有效融合视觉与力觉信息以提升操作鲁棒性，传统方法往往将二者割裂处理，难以应对接触状态下的动态变化；二是如何降低对精确动力学模型的依赖，通过数据驱动的方式学习力控策略；三是如何在小样本条件下实现技能泛化，数据集提供的31个回合、逾八万帧的轨迹为少样本模仿学习提供了基准。其意义在于，为力觉引导的机器人操作研究建立了可复现的实验平台，推动了多模态感知与控制的交叉融合，并为后续的力觉表征学习与迁移研究奠定了数据基础。

衍生相关工作

基于omx_bilateral_force_v2数据集，学术界与工业界衍生出一系列经典工作。在算法层面，研究者提出了多种力觉-视觉融合的Transformer架构与扩散策略，显著提升了接触密集型任务的样本效率与泛化能力；在硬件层面，该数据集促进了双边力反馈遥操作系统的优化设计，推动了力传感器与机械臂本体的集成创新。此外，该数据集还被用于基准测试，催生了多个力控模仿学习的公开挑战赛与评估协议，为领域内方法的公平比较提供了统一标尺。这些衍生工作共同拓展了力觉机器人学习的边界，形成了从数据采集、算法创新到系统部署的完整研究链条。