REVERIE

REVERIE 数据集由澳大利亚机器人视觉研究中心、佐治亚理工学院和加州大学圣塔芭芭拉分校联合创建，旨在推动机器人通过自然语言与人类在视觉世界中进行交互。该数据集包含 21,702 条众包指令，涵盖 90 座建筑中的 10,567 个全景图和 4,140 个目标对象。指令平均长度为 18 个单词，涉及导航和对象指代信息。数据集基于 Matterport3D 模拟器构建，扩展了对象标注功能，支持在不同视角和角度下投影边界框。REVERIE 数据集的创建通过 WebGL 模拟器在 Amazon Mechanical Turk 上完成，收集了多样化的真实人类指令。该数据集用于评估机器人在未知环境中根据自然语言指令导航并识别远程目标对象的能力，旨在解决机器人视觉与语言交互中的高级指令理解和对象定位问题。

The REVERIE dataset was jointly created by the Australian Centre for Robotic Vision, Georgia Institute of Technology, and the University of California, Santa Barbara, aiming to advance natural language-based human-robot interaction within the visual world. It contains 21,702 crowdsourced instructions, covering 10,567 panoramic images and 4,140 target objects across 90 buildings. The average length of each instruction is 18 words, involving both navigation and object reference information. Built upon the Matterport3D simulator, the dataset has extended object annotation capabilities, supporting bounding box projection from different viewpoints and angles. The development of the REVERIE dataset was completed via the WebGL simulator on Amazon Mechanical Turk, collecting diverse authentic human instructions. This dataset is used to evaluate robots' ability to navigate unknown environments and identify distant target objects based on natural language instructions, aiming to address advanced instruction understanding and object localization challenges in robot vision-and-language interaction.

原始信息汇总

REVERIE: Remote Embodied Visual Referring Expression in Real Indoor Environments

数据集概述

数据集基本信息

• 数据集名称：REVERIE
• 数据集描述：REVERIE是一个真实室内环境中的远程视觉指代表达任务和数据集。
• 数据集版本：原版和第二版两个版本。
• 技术线路：使用预训练的指代表达式接地模型（MAttNet或UNITER）或私有模型。

数据组织

• 数据文件：包含REVERIE_train.json、REVERIE_val_seen.json、REVERIE_val_unseen.json和REVERIE_test四个文件，提供指令、路径和每个任务的目标对象（除了REVERIE_test文件）。
• Bounding Box数据：记录每个视点内3米范围内的对象。

数据集下载

• 必要数据类型：
  • matterport_skybox_images
  • house_segmentations
  • metadata
• 安装依赖：需要C++编译器支持C++11，以及OpenCV、OpenGL、OSMesa、GLM、Numpy、pybind11和Doxygen等。

模型训练与测试

• 训练命令：python tasks/REVERIE/trainFast.py --feedback_method sample2step --experiment_name releaseCheck
• 测试命令：首先运行python tasks/REVERIE/run_search.py获取导航结果，然后运行python tasks/REVERIE/groundingAfterNav.py获取接地对象。

结果文件格式

• 在导航结果中添加"predObjId": int value键值对。

评估

• 使用eval_release.py文件评估val_seen和val_unseen部分，test部分需要提交结果文件到评估服务器。

Acknowledgements

• 感谢Matterport允许使用Matterport3D数据集，以及多位研究人员的帮助和数据集构建支持。

参考文献

• REVERIE任务和数据集在以下论文中描述：REVERIE: Remote Embodied Visual Referring Expression in Real Indoor Environments

搜集汇总

数据集介绍

构建方式

REVERIE数据集的构建基于真实室内环境中的远程实体视觉引用表达式任务。数据集包含了详细的场景信息和路径规划，通过集成Matterport3DSimulator和MAttNet3模型，实现了在真实室内环境中的远程对象定位和识别。构建过程中，使用了Matterport3D数据集的RGB图像和房屋分割文件，以及预计算的图像特征，确保了数据集的质量和多样性。

使用方法

使用REVERIE数据集时，用户可以根据自己的需求选择不同的安装方式，包括不使用Docker或使用Docker。数据集提供了详细的安装指南和预处理步骤。在模型训练和测试阶段，用户需要遵循数据集的组织结构，并按照指定的格式提交结果文件。数据集还提供了评估脚本和提交结果到评估服务器的说明，方便用户进行性能评估。

背景与挑战

背景概述

REVERIE数据集，全称为Remote Embodied Visual Referring Expression in Real Indoor Environments，是一个面向真实室内环境中远程视觉指代表达任务的数据集。该数据集由Yuankai Qi等人创建，并在2020年的IEEE Conference on Computer Vision and Pattern Recognition (CVPR)上发表相关论文。REVERIE数据集的构建旨在推动机器人代理在真实室内环境中的导航和视觉指代表达研究。数据集包含了丰富的室内场景和对应的导航路径，以及指向特定物体的自然语言指令。自从发布以来，REVERIE数据集在视觉理解和机器人导航领域产生了广泛的影响。

当前挑战

REVERIE数据集面临的挑战主要包括：1)解决领域问题方面的挑战，即如何在真实室内环境中准确地执行远程视觉指代表达任务；2)构建过程中的挑战，包括数据集的收集、标注、以及保证数据质量等。具体来说，数据集的多样性和复杂性给模型的泛化能力提出了挑战，同时，室内环境的动态变化和视觉表达的多样性也增加了任务难度。在构建过程中，如何高效地利用有限的标注资源，以及如何处理大量的室内场景数据，都是需要解决的问题。

常用场景

经典使用场景

REVERIE数据集的经典使用场景在于模拟真实室内环境中机器人代理根据自然语言指令进行远程视觉指引用表达任务。具体而言，机器人代理需要在真实室内环境的3D模拟中，根据给定的自然语言指令，导航至适当位置并从多个干扰项中识别出特定的目标对象。

解决学术问题

REVERIE数据集解决了远程视觉指引用表达在真实室内环境中的学术研究问题，包括如何使机器人在复杂环境中理解自然语言指令，如何在多个候选目标中准确识别指定对象，以及如何评估机器人执行任务的效果。

实际应用

在实际应用中，REVERIE数据集可用于开发智能机器人系统，这些系统可以在真实室内环境中执行复杂的导航和对象识别任务，例如在智能家居中根据用户的语音指令找到并操作特定的物品。

数据集最近研究

最新研究方向

REVERIE数据集在远程Embodied视觉指代表达式任务中的研究主要集中在提升机器人代理在真实室内环境中的导航和目标识别能力。该数据集的最新研究方向涉及利用预训练的指代表达式模型和自定义模型进行导航与目标定位，以及通过挑战赛形式推动技术进步。近期研究关注点包括如何在真实环境中有效处理远程指代表达式，以及如何在复杂场景中准确导航至目标对象。这些研究对于推动机器人视觉理解技术的发展具有重要的意义。