utaustin_mutex

该数据集由LeRobot创建，主要用于机器人技术领域。数据集包含1500个总集数，361883个总帧数，50个总任务数，3000个总视频数。数据集的结构包括图像、语言指令、状态、动作等多种特征。图像特征包括128x128x3的图像和手腕图像，语言指令为字符串类型，状态和动作为浮点型数组。数据集的主页和论文链接已提供，许可证为mit。

原始信息汇总

数据集概述

基本信息

• 名称: utaustin_mutex
• 主页: https://ut-austin-rpl.github.io/MUTEX/
• 论文: https://arxiv.org/abs/2309.14320
• 许可证: MIT
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总片段数: 1500
• 总帧数: 361883
• 总任务数: 50
• 总视频数: 3000
• 总块数: 2
• 块大小: 1000
• 帧率: 20 fps
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• observation.images.image:
  • 类型: 视频
  • 形状: [128, 128, 3]
  • 帧率: 20.0
  • 编码: av1
  • 像素格式: yuv420p
  • 包含音频: 否
• observation.images.wrist_image:
  • 类型: 视频
  • 形状: [128, 128, 3]
  • 帧率: 20.0
  • 编码: av1
  • 像素格式: yuv420p
  • 包含音频: 否
• language_instruction:
  • 类型: 字符串
  • 形状: [1]
• observation.state:
  • 类型: float32
  • 形状: [8]
  • 名称: motor_0 到 motor_7
• action:
  • 类型: float32
  • 形状: [7]
  • 名称: motor_0 到 motor_6
• timestamp:
  • 类型: float32
  • 形状: [1]
• episode_index:
  • 类型: int64
  • 形状: [1]
• frame_index:
  • 类型: int64
  • 形状: [1]
• next.reward:
  • 类型: float32
  • 形状: [1]
• next.done:
  • 类型: bool
  • 形状: [1]
• index:
  • 类型: int64
  • 形状: [1]
• task_index:
  • 类型: int64
  • 形状: [1]

引用

bibtex @inproceedings{shah2023mutex, title={{MUTEX}: Learning Unified Policies from Multimodal Task Specifications}, author={Rutav Shah and Roberto Mart{\i}n-Mart{\i}n and Yuke Zhu}, booktitle={7th Annual Conference on Robot Learning}, year={2023}, url={https://openreview.net/forum?id=PwqiqaaEzJ} }