NEAR: The NetEase AR Oriented Visual Inertial Dataset

该数据集是为评估视觉惯性里程计（VIO）而设计的，特别针对增强现实（AR）和混合现实（MR）的研究。数据集包含113个序列，分布在49个精心设计的收集案例中，涵盖了多种纹理、光照、运动模式和相机设置的比较。

This dataset is designed for the evaluation of Visual-Inertial Odometry (VIO), specifically targeting research in Augmented Reality (AR) and Mixed Reality (MR). It comprises 113 sequences distributed across 49 meticulously designed collection scenarios, encompassing a variety of textures, lighting conditions, motion patterns, and camera settings for comparative analysis.

原始信息汇总

NEAR数据集概述

数据集简介

NEAR数据集是一个面向增强现实（AR）的视觉惯性数据集，旨在填补现有数据集在真实AR场景采集和移动设备影响因素考虑方面的不足。该数据集由手持智能手机采集，包含113个序列，分布在49个精心设计的采集案例中，涵盖两个典型的室内场景：生活区和桌面区。

数据集特点

• 多样性：数据集涵盖了不同级别的纹理、光照、运动模式、相机设置以及滚动快门与全局快门的差异比较。
• 真实场景：所有数据均在真实的AR场景中采集，考虑了移动设备的影响因素。
• 丰富的案例设计：包括不同环境、场景、光照条件、运动模式和特殊设备设置的比较。

案例设计

数据集中的案例设计详细记录了每个案例的环境、场景、光照、运动模式、特殊设备设置以及使用的设备。每个案例都有对应的预览图像和数据下载链接。

案例环境分类

• Easy：无重复纹理，无反射，无开窗。丰富的纹理地毯、沙发和墙壁。
• Normal：常见的客厅设置。中等纹理的地毯、沙发和墙壁。有开窗和镜子。
• Hard：开窗、镜子、无纹理地板、无纹理家具、无纹理墙壁、灯具。

控制案例

• _control：除了两部移动电话外，还额外连接了一个MYNT相机来记录数据。

数据集结构

数据集遵循EuRoC的结构，便于使用。每个序列包含相机和IMU数据，以及相机设置和时间戳信息。

引用信息

若使用此数据集，请引用以下文献：

1. Cheng Wang, Yu Zhao, Jiabin Guo, Ling Pei, Yue Wang, Haiwei Liu. NEAR: The NetEase AR Oriented Visual Inertial Dataset. [Accepted by ISMAR 2019].

搜集汇总

数据集介绍

构建方式

NEAR数据集是为增强现实（AR）和混合现实（MR）研究而设计的视觉惯性数据集，旨在弥补现有数据集在真实AR场景采集方面的不足。该数据集通过使用商用手持设备在两种典型室内场景（生活区和桌面区）中采集数据，共包含49个精心设计的采集案例和113个序列。每个案例都考虑了多种影响因素，如纹理、光照、运动模式、相机设置以及卷帘快门与全局快门的差异，确保了数据的多样性和实用性。

使用方法

NEAR数据集的使用方法相对简单，数据序列按照EuRoC数据集的结构进行组织，用户可以通过下载相应的数据包并按照提供的文件结构进行访问。每个案例的数据包括图像序列、IMU测量数据、相机设置文件以及地面真值轨迹文件。用户可以通过这些数据进行视觉惯性里程计（VIO）算法的开发和测试。此外，数据集还提供了详细的案例设计和预览视频，帮助用户更好地理解数据采集的背景和条件。

背景与挑战

背景概述

NEAR数据集由网易公司于2019年推出，旨在为增强现实（AR）和混合现实（MR）领域的研究提供高质量的视觉惯性数据集。该数据集由Cheng Wang等研究人员主导开发，并在ISMAR 2019会议上发表。NEAR数据集包含113个序列，涵盖了49个精心设计的采集场景，主要集中于室内环境中的生活区和桌面区域。通过使用商用手机设备进行数据采集，NEAR数据集不仅提供了丰富的视觉和惯性数据，还考虑了移动设备在实际AR应用中的影响因素，如纹理、光照、运动模式、相机设置等。该数据集为AR和MR领域的研究提供了重要的基准，推动了视觉惯性里程计（VIO）算法在AR场景中的应用。

当前挑战

NEAR数据集在解决AR场景中的视觉惯性里程计问题时面临多重挑战。首先，AR场景中的动态光照、复杂纹理和快速运动模式对VIO算法的鲁棒性提出了更高要求。其次，数据集构建过程中，研究人员需要精确控制采集环境中的变量，如光照条件、纹理复杂度等，以确保数据的多样性和代表性。此外，由于移动设备的硬件限制，如滚动快门效应和传感器噪声，数据采集过程中需要额外的校准和补偿措施，以确保数据的准确性和一致性。这些挑战使得NEAR数据集在AR领域的研究中具有重要的参考价值，同时也为未来的数据集构建提供了宝贵的经验。

常用场景

经典使用场景

NEAR数据集专为增强现实（AR）和混合现实（MR）研究设计，提供了丰富的视觉惯性数据，适用于评估视觉惯性里程计（VIO）算法。该数据集在典型室内场景（如生活区和桌面区）中收集，涵盖了多种纹理、光照、运动模式和相机设置的组合，能够有效支持AR设备在复杂环境中的定位与导航研究。

解决学术问题

NEAR数据集解决了现有VIO数据集在AR场景中的不足，特别是在移动设备上的实际应用问题。通过提供真实AR场景下的数据，该数据集帮助研究人员更好地理解设备在不同光照、纹理和运动模式下的表现，推动了AR设备定位精度的提升和算法的优化。

实际应用

NEAR数据集的实际应用场景包括AR游戏开发、室内导航系统设计以及智能家居设备的定位与交互。通过模拟真实环境中的多种条件，该数据集为AR设备的实际部署提供了可靠的数据支持，帮助开发者优化用户体验并提升设备性能。

数据集最近研究

最新研究方向

随着增强现实（AR）和混合现实（MR）技术的快速发展，视觉惯性里程计（VIO）在移动设备上的应用需求日益增加。NEAR数据集作为首个专为AR场景设计的视觉惯性数据集，填补了现有数据集在真实AR环境中的空白。该数据集通过精心设计的49个采集场景和113个序列，涵盖了多种纹理、光照、运动模式和相机设置的对比实验，为研究者提供了丰富的实验数据。近年来，NEAR数据集在AR领域的应用研究中发挥了重要作用，尤其是在移动设备上的VIO算法优化、实时定位与地图构建（SLAM）系统的性能提升等方面。通过该数据集，研究者能够更好地理解移动设备在复杂环境下的视觉惯性融合问题，推动了AR技术在消费电子领域的广泛应用。