nyu_rot_dataset

该数据集是一个机器人相关的数据集，包含14个episodes，440帧，12个任务，14个视频。数据特征包括观察图像（84x84x3）、语言指令、观察状态（7个电机状态）、动作（7个电机状态）、时间戳等。数据集主要用于机器人学习任务。

原始信息汇总

数据集概述

基本信息

• 名称: nyu_rot_dataset
• 主页: https://rot-robot.github.io/
• 论文: https://arxiv.org/abs/2206.15469
• 许可证: MIT
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总集数: 14
• 总帧数: 440
• 总任务数: 12
• 总视频数: 14
• 总块数: 1
• 块大小: 1000
• 帧率: 5 FPS
• 分割: 训练集 (0:14)

数据文件

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

1. observation.images.image

   • 类型: 视频
   • 形状: [84, 84, 3]
   • 视频信息:
     • 帧率: 5.0
     • 编解码器: av1
     • 像素格式: yuv420p
     • 非深度图
     • 无音频

2. language_instruction

   • 类型: 字符串
   • 形状: [1]

3. observation.state

   • 类型: float32
   • 形状: [7]
   • 名称: motor_0, motor_1, motor_2, motor_3, motor_4, motor_5, motor_6

4. action

   • 类型: float32
   • 形状: [7]
   • 名称: motor_0, motor_1, motor_2, motor_3, motor_4, motor_5, motor_6

5. timestamp

   • 类型: float32
   • 形状: [1]

6. episode_index

   • 类型: int64
   • 形状: [1]

7. frame_index

   • 类型: int64
   • 形状: [1]

8. next.reward

   • 类型: float32
   • 形状: [1]

9. next.done

   • 类型: bool
   • 形状: [1]

10. index

    • 类型: int64
    • 形状: [1]

11. task_index

    • 类型: int64
    • 形状: [1]

引用

bibtex @inproceedings{haldar2023watch, title={Watch and match: Supercharging imitation with regularized optimal transport}, author={Haldar, Siddhant and Mathur, Vaibhav and Yarats, Denis and Pinto, Lerrel}, booktitle={Conference on Robot Learning}, pages={32--43}, year={2023}, organization={PMLR} }