cmu_stretch

该数据集是通过LeRobot创建的，主要用于机器人学习任务。数据集包含135个episodes，25016帧数据，5个任务。数据包括观察图像（128x128x3）、语言指令、机器人状态（4个电机状态）、动作（8个电机状态）、时间戳、episode索引、帧索引、奖励、完成标志等。数据格式为parquet，视频格式为mp4，帧率为5fps。数据集适用于机器人视觉和动作学习研究。

原始信息汇总

数据集概述

基本信息

• 名称: cmu_stretch
• 主页: https://robo-affordances.github.io/
• 论文: https://arxiv.org/abs/2304.08488
• 许可证: MIT
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总片段数: 135
• 总帧数: 25016
• 总任务数: 5
• 总视频数: 135
• 总块数: 1
• 块大小: 1000
• 帧率: 5 fps
• 分割: 训练集 (0:135)

数据文件路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

1. observation.images.image

   • 类型: 视频
   • 形状: [128, 128, 3]
   • 视频信息:
     • 帧率: 5.0
     • 编解码器: av1
     • 像素格式: yuv420p
     • 深度图: 否
     • 音频: 无

2. language_instruction

   • 类型: 字符串
   • 形状: [1]

3. observation.state

   • 类型: float32
   • 形状: [4]
   • 名称: motor_0, motor_1, motor_2, motor_3

4. action

   • 类型: float32
   • 形状: [8]
   • 名称: motor_0, motor_1, motor_2, motor_3, motor_4, motor_5, motor_6, motor_7

5. timestamp

   • 类型: float32
   • 形状: [1]

6. episode_index

   • 类型: int64
   • 形状: [1]

7. frame_index

   • 类型: int64
   • 形状: [1]

8. next.reward

   • 类型: float32
   • 形状: [1]

9. next.done

   • 类型: bool
   • 形状: [1]

10. index

    • 类型: int64
    • 形状: [1]

11. task_index

    • 类型: int64
    • 形状: [1]

引用

BibTeX

bibtex @inproceedings{bahl2023affordances, title={Affordances from Human Videos as a Versatile Representation for Robotics}, author={Bahl, Shikhar and Mendonca, Russell and Chen, Lili and Jain, Unnat and Pathak, Deepak}, booktitle={CVPR}, year={2023} }

@article{mendonca2023structured, title={Structured World Models from Human Videos}, author={Mendonca, Russell and Bahl, Shikhar and Pathak, Deepak}, journal={CoRL}, year={2023} }