inverse

这是一个使用LeRobot工具创建的机器人学数据集，包含2个剧集，325帧，1个任务，2个视频和1个数据片段。数据集以Parquet文件格式存储，并提供相应的视频文件。数据特征包括机器人的状态、动作、奖励、是否结束标志、额外惩罚信息、正面图像、时间戳、帧索引、剧集索引、索引和任务索引等。数据集的许可为Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot
• 代码库版本: v2.1
• 创建工具: LeRobot

数据集结构

• 总集数: 2
• 总帧数: 325
• 总任务数: 1
• 总视频数: 2
• 总块数: 1
• 块大小: 1000
• 帧率: 10 fps
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• observation.state:
  • 数据类型: float32
  • 形状: [21]
• action:
  • 数据类型: float32
  • 形状: [4]
  • 名称: delta_x_ee, delta_y_ee, delta_z_ee, gripper_delta
• next.reward:
  • 数据类型: float32
  • 形状: [1]
• next.done:
  • 数据类型: bool
  • 形状: [1]
• complementary_info.discrete_penalty:
  • 数据类型: float32
  • 形状: [1]
  • 名称: discrete_penalty
• observation.images.front:
  • 数据类型: video
  • 形状: [3, 128, 128]
  • 名称: channels, height, width
  • 视频信息:
    • 高度: 128
    • 宽度: 128
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 10
    • 通道数: 3
    • 是否有音频: false
• timestamp:
  • 数据类型: float32
  • 形状: [1]
• frame_index:
  • 数据类型: int64
  • 形状: [1]
• episode_index:
  • 数据类型: int64
  • 形状: [1]
• index:
  • 数据类型: int64
  • 形状: [1]
• task_index:
  • 数据类型: int64
  • 形状: [1]

分割

• train: 0:2

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot平台构建，采用Apache-2.0开源协议，专为机器人技术研究设计。数据以parquet格式存储，包含325帧数据，涵盖2个完整的事件片段。数据集结构通过meta/info.json文件详细描述，包括数据路径、视频路径及各类特征维度。数据采集以10fps的帧率进行，确保时序信息的连贯性，同时采用分块存储策略以优化大规模数据的访问效率。

特点

数据集聚焦机器人操作任务，提供多维观测数据，包括21维浮点型状态观测值、4维末端执行器动作指令及对应的奖励信号。特别值得注意的是，数据集包含128x128分辨率的RGB视频流，采用AV1编码压缩，为视觉-动作联合建模提供丰富素材。各数据帧均附带精确的时间戳和索引信息，支持复杂的时间序列分析。离散惩罚指标等补充信息进一步增强了数据集的科研价值。

使用方法

使用者可通过解析parquet文件直接获取结构化数据，配合meta/info.json中的路径说明可定位视频资源。数据集默认划分为训练集（2个事件），适合用于模仿学习或强化学习算法的训练。观测数据中的图像特征需按指定维度（3x128x128）重构，动作空间包含笛卡尔坐标系位移及夹持器控制量。奖励信号和终止标志为算法评估提供标准接口，时间戳信息支持构建精确的时序模型。

背景与挑战

背景概述

inverse数据集作为机器人学领域的重要资源，由LeRobot团队基于开源框架构建，旨在推动机器人控制与强化学习算法的研究。该数据集以Apache-2.0协议开放，包含多模态的机器人交互数据，如关节状态、末端执行器动作、视觉观测及任务奖励信号。其核心价值在于提供了真实物理系统中机器人执行任务的连续决策过程记录，为模仿学习、离线强化学习等方向提供了高保真度的训练样本。通过标准化数据结构和时空对齐的观测-动作序列，该数据集显著降低了机器人算法研究的硬件依赖门槛。

当前挑战

当前数据集面临三方面挑战：在领域问题层面，机器人动作空间的连续性与高维度特性导致策略学习易陷入局部最优，而稀疏奖励设置加剧了信用分配难度；在数据构建层面，多传感器时序同步精度直接影响动作-状态对应关系的可靠性，且机械臂运动产生的图像模糊会降低视觉特征的可用性；在应用层面，有限的任务多样性（仅含1类任务）和样本规模（325帧）制约了算法的泛化能力验证，未标注的观测状态维度含义也增加了数据解读成本。

常用场景

经典使用场景

在机器人控制领域，inverse数据集通过记录机械臂末端执行器的运动轨迹和状态变化，为强化学习算法的训练提供了丰富的实验数据。该数据集特别适用于研究机械臂的逆向运动学问题，通过分析delta_x_ee、delta_y_ee等动作参数与观测状态的关系，可优化机械臂的路径规划精度。

解决学术问题

该数据集有效解决了机器人控制中高维连续动作空间下的策略优化难题。通过提供包含21维状态观测和4维动作空间的结构化数据，研究者能够验证深度强化学习算法在真实机械臂控制任务中的泛化能力。其离散惩罚指标的设计，更为探索-利用平衡机制的研究提供了量化依据。

衍生相关工作

该数据集已催生出多项关于多模态感知融合的研究，包括基于视觉和状态联合输入的策略蒸馏方法。部分学者利用其时间序列特性，开发了新型的Transformer架构用于长程动作预测，相关成果发表在机器人顶会ICRA上，推动了模仿学习在真实场景中的应用进展。