amitkparekh/vima

该数据集包含多个配置，每个配置下有多个特征，如任务类型、原始提示词类型、词批次、图像批次、观察数据和动作数据。每个特征都有详细的数据类型和结构描述。数据集还包含训练集和验证集的分割信息，包括每个分割的字节数和样本数。

This dataset contains multiple configurations, each with multiple features such as task type, raw prompts token type, word batch, image batch, observations, and actions. Each feature has detailed data type and structure descriptions. The dataset also includes split information for training and validation sets, including the number of bytes and examples for each split.

原始信息汇总

数据集概述

数据集配置

默认配置 (default)

• 特征:
  • task: 任务类型，包含21种任务。
  • raw_prompts_token_type: 原始提示令牌类型，长度为1。
  • word_batch: 单词批次，序列类型为int64。
  • image_batch: 图像批次，包含前视图和顶视图的边界框、裁剪图像和掩码。
  • observations: 观察数据，包含末端执行器和对象的边界框、裁剪图像和掩码。
  • actions: 动作数据，包含初始和目标位置及旋转。
• 分割:
  • train: 614976个样本，159323231926字节。
  • valid: 50000个样本，12951164797字节。
• 下载大小: 91241218664字节。
• 数据集大小: 172274396723字节。

原始配置 (raw--follow_order)

• 特征:
  • index: 索引，int64类型。
  • task: 任务类型，包含17种任务。
  • object_metadata: 对象元数据，包含对象ID、名称、资产名称和纹理名称。
  • total_steps: 总步数，int64类型。
  • end_effector_type: 末端执行器类型，字符串类型。
  • observations: 观察数据，包含索引、RGB图像和分割图像。
  • pose_actions: 姿态动作，包含索引、初始和目标位置及旋转。
  • prompt: 提示，字符串类型。
  • prompt_assets: 提示资产，包含名称、RGB图像和分割图像。
• 分割:
  • train: 46266个样本，60669165155字节。
  • valid: 3791个样本，4971184423字节。
• 下载大小: 0字节。
• 数据集大小: 65640349578字节。

原始配置 (raw--manipulate_old_neighbor)

• 特征:
  • index: 索引，int64类型。
  • task: 任务类型，包含17种任务。
  • object_metadata: 对象元数据，包含对象ID、名称、资产名称和纹理名称。
  • total_steps: 总步数，int64类型。
  • end_effector_type: 末端执行器类型，字符串类型。
  • observations: 观察数据，包含索引、RGB图像和分割图像。
  • pose_actions: 姿态动作，包含索引、初始和目标位置及旋转。
  • prompt: 提示，字符串类型。
  • prompt_assets: 提示资产，包含名称、RGB图像和分割图像。
• 分割:
  • train: 46231个样本，48590074568字节。
  • valid: 3788个样本，3981509881字节。
• 下载大小: 1472741942字节。
• 数据集大小: 52571584449字节。

原始配置 (raw--novel_adj)

• 特征:
  • index: 索引，int64类型。
  • task: 任务类型，包含17种任务。
  • object_metadata: 对象元数据，包含对象ID、名称、资产名称和纹理名称。
  • total_steps: 总步数，int64类型。
  • end_effector_type: 末端执行器类型，字符串类型。
  • observations: 观察数据，包含索引、RGB图像和分割图像。
  • pose_actions: 姿态动作，包含索引、初始和目标位置及旋转。
  • prompt: 提示，字符串类型。
  • prompt_assets: 提示资产，包含名称、RGB图像和分割图像。
• 分割:
  • train: 46361个样本，109433258253字节。
  • valid: 3799个样本，8967278730字节。
• 下载大小: 1056888134字节。
• 数据集大小: 118400536983字节。

原始配置 (raw--novel_noun)

• 特征:
  • index: 索引，int64类型。
  • task: 任务类型，包含17种任务。
  • object_metadata: 对象元数据，包含对象ID、名称、资产名称和纹理名称。
  • total_steps: 总步数，int64类型。
  • end_effector_type: 末端执行器类型，字符串类型。
  • observations: 观察数据，包含索引、RGB图像和分割图像。
  • pose_actions: 姿态动作，包含索引、初始和目标位置及旋转。
  • prompt: 提示，字符串类型。
  • prompt_assets: 提示资产，包含名称、RGB图像和分割图像。
• 分割:
  • train: 46324个样本，36467907255字节。
  • valid: 3796个样本，2987887672字节。
• 下载大小: 0字节。
• 数据集大小: 39455794927字节。

原始配置 (raw--pick_in_order_then_restore)

• 特征:
  • index: 索引，int64类型。
  • task: 任务类型，包含17种任务。
  • object_metadata: 对象元数据，包含对象ID、名称、资产名称和纹理名称。
  • total_steps: 总步数，int64类型。
  • end_effector_type: 末端执行器类型，字符串类型。
  • observations: 观察数据，包含索引、RGB图像和分割图像。
  • pose_actions: 姿态动作，包含索引、初始和目标位置及旋转。
  • prompt: 提示，字符串类型。
  • prompt_assets: 提示资产，包含名称、RGB图像和分割图像。
• 分割:
  • train: 46442个样本，73240868290字节。
  • valid: 3806个样本，5998118809字节。
• 下载大小: 5300427974字节。
• 数据集大小: 79238987099字节。

原始配置 (raw--rearrange)

• 特征:
  • index: 索引，int64类型。
  • task: 任务类型，包含17种任务。
  • object_metadata: 对象元数据，包含对象ID、名称、资产名称和纹理名称。
  • total_steps: 总步数，int64类型。
  • end_effector_type: 末端执行器类型，字符串类型。
  • observations: 观察数据，包含索引、RGB图像和分割图像。
  • pose_actions: 姿态动作，包含索引、初始和目标位置及旋转。
  • prompt: 提示，字符串类型。
  • prompt_assets: 提示资产，包含名称、RGB图像和分割图像。
• 分割:
  • train: 46442个样本，73240868290字节。
  • valid: 3806个样本，5998118809字节。
• 下载大小: 5300427974字节。
• 数据集大小: 79238987099字节。