byeonghwikim/abp_dataset

ALFRED数据集用于ABP项目，包含了以自我为中心的视图和周围视图的ResNet-18特征、注释等。周围视图来自ALFRED中定义的四个可导航动作：RotateLeft (90°), LookUp(15°), LookDown(15°), 和 RotateRight(90°)。文件结构几乎与ALFRED数据集相同，建议参考ALFRED的原始仓库获取更多细节。数据集非常大（约1.6T），下载后可以直接加载周围视图特征。特征的0维度对应于不同的视图方向：左视图（RotateLeft）、上视图（LookUp）、前视图（无动作）、下视图（LookDown）和右视图（RotateRight）。此外，数据集还应用了图像增强技术，包括交换图像颜色通道和AutoAugment。

原始信息汇总

ALFRED Dataset for ABP

数据集概述

• 数据内容：包含用于ABP项目的ALFRED数据集，包括以自我为中心和周围视图的ResNet-18特征、注释等。
• 周围视图：来自ALFRED中定义的四种导航动作：RotateLeft (90°)、LookUp (15°)、LookDown (15°)、RotateRight (90°)。
• 文件结构：与ALFRED数据集几乎相同，更多细节可参考ALFRED。

数据集下载

• 下载命令： bash cd $ALFRED_ROOT/data git clone https://huggingface.co/byeonghwikim/abp_dataset json_feat_2.1.0

• 数据大小：约1.6TB。

数据加载示例

• 加载示例： python import torch filename = train/look_at_obj_in_light-AlarmClock-None-DeskLamp-301/trial_T20190907_174127_043461/feat_conv_panoramic.pt im = torch.load(filename) # [5, T, 512, 7, 7], T 表示轨迹的长度 print(im.shape)

• 特征维度：

  • 0: 左视图 (RotateLeft)
  • 1: 上视图 (LookUp)
  • 2: 前视图 (以自我为中心) (无动作)
  • 3: 下视图 (LookDown)
  • 4: 右视图 (RotateRight)

图像增强

• 增强类型：
  • 无增强：(feat_conv_panoramic.pt)
  • 交换颜色通道：(feat_conv_colorSwap1_panoramic.pt, feat_conv_colorSwap2_panoramic.pt)
  • AutoAugment：(feat_conv_onlyAutoAug1_panoramic.pt ~ feat_conv_onlyAutoAug4_panoramic.pt)

相关工作

• 使用此数据集的相关工作：
  • Online Continual Learning for Interactive Instruction Following Agents (ICLR 2024)
  • Multi-Level Compositional Reasoning for Interactive Instruction Following (AAAI 2023 Oral)
  • Factorizing Perception and Policy for Interactive Instruction Following (ICCV 2021)
  • Agent with the Big Picture: Perceiving Surroundings for Interactive Instruction Following (Embodied AI Workshop @ CVPR 2021)

引用

• 引用格式： plaintext @inproceedings{kim2021agent, author = {Kim, Byeonghwi and Bhambri, Suvaansh and Singh, Kunal Pratap and Mottaghi, Roozbeh and Choi, Jonghyun}, title = {Agent with the Big Picture: Perceiving Surroundings for Interactive Instruction Following}, booktitle = {Embodied AI Workshop @ CVPR 2021}, year = {2021}, }