EVIMO2

EVIMO2是由马里兰大学高级计算机研究所开发的室内场景事件相机数据集，包含41分钟的数据，由三个640×480事件相机和一个2080×1552经典彩色相机记录。数据集包含173个序列，分为三个类别：独立移动的家用物品、静态场景和浅层场景中的基本运动。数据集的创建结合了3D扫描和Vicon运动捕捉系统的高精度跟踪，提供了详细的深度图和光流场。EVIMO2特别适用于研究运动和物体分割、光流、结构从运动以及视觉惯性里程计，旨在解决室内动态场景中的复杂视觉问题。EVIMO2 is an indoor scene event camera dataset developed by the Institute for Advanced Computer Studies at the University of Maryland. It contains 41 minutes of data, recorded by three 640×480 event cameras and one 2080×1552 conventional color camera. The dataset includes 173 sequences divided into three categories: independently moving household objects, static scenes, and basic motions in shallow scenes. The dataset was constructed using 3D scanning and high-precision tracking from the Vicon motion capture system, providing detailed depth maps and optical flow fields. EVIMO2 is particularly suitable for research on motion and object segmentation, optical flow, structure from motion, and visual-inertial odometry, aiming to solve complex visual problems in indoor dynamic scenes.

搜集汇总

数据集介绍

构建方式

EVIMO2数据集的构建采用了多种传感器数据，包括来自三个事件相机、一个经典颜色相机、两个六轴惯性测量单元，以及来自Vicon运动捕捉系统的物体姿态。数据集包含了173个序列，分为三个类别：独立移动物体（IMO）、运动恢复结构（SfM）和简单平面场景运动（Sanity）。其中，IMO和SfM序列被分为训练集和测试集，而Sanity序列则被细分为棋盘格、深度变化、滑动和桌面子集。所有序列都使用物理相机的数据，并且许多序列都包含多个独立移动的物体。此外，数据集还提供了每像素的真实深度和分割标签，以及相机和物体的姿态。

特点

EVIMO2数据集的特点在于提供了丰富的室内场景数据，包含多个独立移动的物体，这些场景对于运动分割、光流、运动恢复结构以及视觉（惯性）里程计等算法的研究具有重要意义。数据集的独特之处在于，它提供了每像素的真实深度和分割标签，以及物理相机和所有物体的姿态，这在物理事件相机数据集中是很少见的。此外，数据集还包含了低光条件下的序列，这对于评估和训练算法在复杂环境下的性能非常有帮助。

使用方法

使用EVIMO2数据集时，研究人员可以根据需要选择不同类别的序列进行训练或测试。数据集提供了每像素的真实深度和分割标签，以及相机和物体的姿态，这些数据可以帮助研究人员评估和训练算法的性能。此外，数据集还提供了开源代码，可以用于生成高达200Hz的掩码，这对于高帧率的算法研究非常有帮助。需要注意的是，由于物体的大小和Vicon运动捕捉系统对物体标记遮挡的敏感性，真实数据并不均匀分布，因此用户在使用时需要特别注意。

背景与挑战

背景概述

事件相机技术，因其能够在低光和高速运动场景中捕捉快速变化的光强度变化，而在计算机视觉领域备受关注。EVIMO2数据集的推出，作为EVIMO数据集的升级版，旨在为事件相机领域的研究提供更丰富、更复杂的数据资源。该数据集由马里兰大学感知与机器人研究组的Levi Burner等人于2022年5月创建，提供了来自三个640×480事件相机、一个2080×1552经典彩色相机、两个六轴惯性测量单元以及Vicon运动捕捉系统的毫米级精确物体位姿的数据。EVIMO2数据集的亮点在于其像素级的地面真实深度和分割标签，以及物理相机和所有物体的位姿数据，这对于支持运动和物体分割、光流、运动恢复结构和视觉（惯性）里程计等领域的研究具有重要意义。

当前挑战

尽管EVIMO2数据集提供了丰富的数据资源，但仍面临着一些挑战。首先，在构建数据集的过程中，由于物体尺寸较小以及Vicon运动捕捉系统对物体标记遮挡的敏感性，导致地面真实数据的可用性存在时间上的间隙。其次，数据集中的一些序列是在低光条件下录制的，这增加了事件相机数据处理的噪声和复杂性。此外，由于事件相机数据的特点，如何有效地利用这些数据来训练和评估现有的算法，以及开发新的算法，也是一大挑战。最后，数据集中包含的多个独立快速移动的物体，为光流、视觉里程计和SLAM等方法带来了挑战，需要研究人员进一步探索和创新。

常用场景

经典使用场景

EVIMO2数据集是专门为事件相机设计的，用于运动分割、光流、运动结构重建和视觉（惯性）里程计的研究。该数据集提供了丰富的场景，包括独立移动的家庭物品、静态场景以及浅景深场景中的基本运动，特别适合于评估光流方法和视觉里程计算法。此外，该数据集也适用于室内视觉惯性里程计（VIO）和同时定位与建图（SLAM）的研究，因为它提供了相机和所有物体的精确位姿。

解决学术问题

EVIMO2数据集解决了在物理事件相机数据集中缺乏像素级精确的语义分割和对象位姿的问题。它通过提供从物理相机收集的数据，并包含多个独立移动的对象，使得研究人员能够更好地研究运动分割、光流、运动结构重建和视觉（惯性）里程计。此外，该数据集还提供了高分辨率的深度图和光流场，使得研究人员能够更准确地评估和改进算法。

衍生相关工作

EVIMO2数据集衍生了一系列相关的工作，包括改进的事件相机数据集、光流算法和视觉里程计算法。例如，研究人员可以利用EVIMO2数据集来训练深度学习模型，从而提高光流和视觉里程计的精度。此外，该数据集还可以用于开发新的运动分割算法，从而提高机器人对动态场景的理解能力。