cmu_play_fusion

该数据集使用LeRobot创建，主要应用于机器人技术领域。数据集包含576个episodes，235922帧，44个任务，576个视频。数据以parquet格式存储，视频以mp4格式存储。数据集的特征包括观察图像（128x128x3）、语言指令、观察状态（8个浮点数）、动作（7个浮点数）、时间戳、episode索引、帧索引、下一个奖励、下一个完成标志、索引和任务索引。数据集的帧率为5fps，视频编解码器为av1，像素格式为yuv420p，无音频。

原始信息汇总

数据集概述

基本信息

• 名称: cmu_play_fusion
• 主页: https://play-fusion.github.io/
• 论文: https://arxiv.org/abs/2312.04549
• 许可证: MIT
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总集数: 576
• 总帧数: 235922
• 总任务数: 44
• 总视频数: 576
• 总块数: 1
• 块大小: 1000
• 帧率: 5 fps
• 训练集划分: 0:576

数据路径

• 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

1. observation.images.image

   • 类型: 视频
   • 形状: [128, 128, 3]
   • 视频信息:
     • 帧率: 5.0
     • 编解码器: av1
     • 像素格式: yuv420p
     • 深度图: false
     • 音频: false

2. language_instruction

   • 类型: 字符串
   • 形状: [1]

3. observation.state

   • 类型: float32
   • 形状: [8]
   • 名称: motor_0, motor_1, motor_2, motor_3, motor_4, motor_5, motor_6, motor_7

4. action

   • 类型: float32
   • 形状: [7]
   • 名称: motor_0, motor_1, motor_2, motor_3, motor_4, motor_5, motor_6

5. timestamp

   • 类型: float32
   • 形状: [1]

6. episode_index

   • 类型: int64
   • 形状: [1]

7. frame_index

   • 类型: int64
   • 形状: [1]

8. next.reward

   • 类型: float32
   • 形状: [1]

9. next.done

   • 类型: bool
   • 形状: [1]

10. index

    • 类型: int64
    • 形状: [1]

11. task_index

    • 类型: int64
    • 形状: [1]

引用

bibtex @inproceedings{chen2023playfusion, title={PlayFusion: Skill Acquisition via Diffusion from Language-Annotated Play}, author={Chen, Lili and Bahl, Shikhar and Pathak, Deepak}, booktitle={CoRL}, year={2023} }