nyu_door_opening_surprising_effectiveness

该数据集是通过LeRobot创建的，主要用于机器人视觉模仿学习研究。数据集包含484个训练集片段，总计20405帧数据。每帧数据包括720x960分辨率的RGB图像、语言指令、8维状态观测、7维动作信息、时间戳、奖励信号等。数据以parquet格式存储，视频帧率为3fps。该数据集基于论文《The Surprising Effectiveness of Representation Learning for Visual Imitation》的研究工作。

原始信息汇总

数据集概述

基本信息

• 名称: nyu_door_opening_surprising_effectiveness
• 主页: https://jyopari.github.io/VINN/
• 论文: https://arxiv.org/abs/2112.01511
• 许可证: MIT
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总集数: 484
• 总帧数: 20405
• 总任务数: 1
• 总视频数: 484
• 总块数: 1
• 块大小: 1000
• 帧率: 3 fps
• 分割: 训练集 (0:484)

数据文件路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• observation.images.image:
  • 类型: 视频
  • 形状: [720, 960, 3]
  • 视频信息:
    • 帧率: 3.0
    • 编解码器: av1
    • 像素格式: yuv420p
    • 深度图: 否
    • 音频: 无
• language_instruction:
  • 类型: 字符串
  • 形状: [1]
• observation.state:
  • 类型: float32
  • 形状: [8]
  • 名称: motor_0 到 motor_7
• action:
  • 类型: float32
  • 形状: [7]
  • 名称: motor_0 到 motor_6
• timestamp:
  • 类型: float32
  • 形状: [1]
• episode_index:
  • 类型: int64
  • 形状: [1]
• frame_index:
  • 类型: int64
  • 形状: [1]
• next.reward:
  • 类型: float32
  • 形状: [1]
• next.done:
  • 类型: bool
  • 形状: [1]
• index:
  • 类型: int64
  • 形状: [1]
• task_index:
  • 类型: int64
  • 形状: [1]

引用

bibtex @misc{pari2021surprising, title={The Surprising Effectiveness of Representation Learning for Visual Imitation}, author={Jyothish Pari and Nur Muhammad Shafiullah and Sridhar Pandian Arunachalam and Lerrel Pinto}, year={2021}, eprint={2112.01511}, archivePrefix={arXiv}, primaryClass={cs.RO} }