austin_sailor_dataset

该数据集是使用LeRobot创建的，主要用于机器人技术领域。数据集包含240个episodes，353094帧，4个任务和480个视频。数据结构和特征包括观察图像（手腕图像和普通图像）、语言指令、观察状态、动作以及其他元数据。数据以parquet格式存储，视频以mp4格式存储。数据集还提供了训练分割信息，帧率为20fps。更多详细信息可以参考提供的主页和论文链接。

原始信息汇总

数据集概述

基本信息

• 名称: austin_sailor_dataset
• 主页: https://ut-austin-rpl.github.io/sailor/
• 论文: https://arxiv.org/abs/2210.11435
• 许可证: MIT
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: LeRobot

数据集结构

• 总集数: 240
• 总帧数: 353094
• 总任务数: 4
• 总视频数: 480
• 总块数: 1
• 块大小: 1000
• 帧率: 20 FPS
• 分割: 训练集 (0:240)

数据路径

• 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

1. 观察图像

   • 手腕图像 (observation.images.wrist_image):
     • 数据类型: 视频
     • 形状: [128, 128, 3]
     • 帧率: 20.0
     • 编解码器: av1
     • 像素格式: yuv420p
     • 深度图: 否
     • 音频: 无
   • 图像 (observation.images.image):
     • 与手腕图像相同

2. 语言指令 (language_instruction):

   • 数据类型: 字符串
   • 形状: [1]

3. 观察状态 (observation.state):

   • 数据类型: float32
   • 形状: [8]
   • 名称: motor_0 到 motor_7

4. 动作 (action):

   • 数据类型: float32
   • 形状: [7]
   • 名称: motor_0 到 motor_6

5. 其他特征:

   • 时间戳 (timestamp): float32, 形状 [1]
   • 集索引 (episode_index): int64, 形状 [1]
   • 帧索引 (frame_index): int64, 形状 [1]
   • 奖励 (next.reward): float32, 形状 [1]
   • 完成标志 (next.done): bool, 形状 [1]
   • 索引 (index): int64, 形状 [1]
   • 任务索引 (task_index): int64, 形状 [1]

引用

bibtex @inproceedings{nasiriany2022sailor, title={Learning and Retrieval from Prior Data for Skill-based Imitation Learning}, author={Soroush Nasiriany and Tian Gao and Ajay Mandlekar and Yuke Zhu}, booktitle={Conference on Robot Learning (CoRL)}, year={2022} }