IndraEye

IndraEye数据集是由印度科学研究所创建的多传感器（EO-IR）无人机感知数据集，旨在支持各种下游任务。该数据集包含5,612张图像，涵盖145,666个实例，涉及多种视角、高度、背景和一天中的不同时间，覆盖印度次大陆。数据集的创建过程包括使用配备EO和IR传感器的DragonEye 2无人机进行图像采集，并通过手动标注进行数据集构建。IndraEye数据集主要应用于无人机感知系统，特别是在低光照和复杂环境下的对象检测和语义分割任务，旨在提高系统的鲁棒性和准确性。

The IndraEye Dataset is a multi-sensor (Electro-Optical/Infrared, EO-IR) unmanned aerial vehicle (UAV) perception dataset developed by the Indian Institute of Science, designed to support a wide range of downstream tasks. It contains 5,612 images and covers 145,666 instances, with diverse perspectives, flight altitudes, background conditions and different times of the day, spanning across the Indian subcontinent. The dataset was constructed through image collection using the DragonEye 2 UAV equipped with EO and IR sensors, followed by manual annotation. It is primarily applied to UAV perception systems, especially object detection and semantic segmentation tasks in low-light and complex environments, with the goal of improving the robustness and accuracy of such perception systems.

搜集汇总

数据集介绍

构建方式

IndraEye数据集的构建采用了多传感器（EO-IR）技术，通过搭载在DJI M600 Pro无人机上的DragonEye2相机进行数据采集。该相机配备了电光（EO）和红外（IR）传感器，能够在不同的时间段（中午、傍晚和夜间）捕捉图像，以涵盖各种光照条件。数据集的构建过程包括在班加罗尔的七个不同地点进行约4分钟的视频录制，随后每35帧选取一帧进行标注，最终形成了包含5,612张图像的数据集。这些图像经过手动标注，提供了丰富的实例信息，适用于多种任务，如目标检测和语义分割。

使用方法

IndraEye数据集适用于多种计算机视觉任务，包括但不限于目标检测和语义分割。研究人员可以通过该数据集训练和验证模型在复杂环境中的鲁棒性，特别是在低光照和多视角条件下的表现。数据集的标注信息包括边界框和像素级标注，支持多种深度学习模型的训练和评估。此外，IndraEye还提供了丰富的文本提示，适用于视觉语言模型的微调，以增强其在多模态数据上的表现。数据集的开源性质使得全球研究者都能访问和利用这一资源，推动无人机感知技术的发展。

背景与挑战

背景概述

IndraEye数据集由印度科学研究所的Manjunath D等人于2024年创建，专注于红外和电光（EO-IR）无人机感知数据。该数据集的核心研究问题在于提升深度神经网络在低光照和复杂环境下的可靠性，特别是在无人机应用中。IndraEye包含5,612张图像，涵盖多种视角、高度、背景和时间，为多模态学习和领域适应提供了丰富的资源。该数据集的推出填补了现有EO-IR数据集在高海拔和多角度视角方面的空白，对提升无人机感知系统的鲁棒性和准确性具有重要意义。

当前挑战

IndraEye数据集面临的挑战主要包括：1) 在低光照条件下，电光相机难以捕捉足够细节，而红外相机虽能提供热成像，但缺乏丰富的纹理信息；2) 无人机视角的多样性导致物体在不同角度和高度下的尺度变化，增加了目标检测的复杂性；3) 现有数据集主要集中在低海拔和固定视角，而IndraEye在高海拔和多角度视角的采集过程中面临数据对齐和标注的难题。这些挑战要求研究者在多模态数据融合、领域适应和模型泛化能力方面进行深入探索。

常用场景

经典使用场景

IndraEye数据集的经典使用场景主要集中在无人机（UAV）基于红外和电光（EO-IR）传感器的多模态感知任务中。该数据集特别适用于在低光照和复杂环境条件下进行目标检测和语义分割，尤其是在夜间或烟雾、尘埃等低能见度场景中。通过结合EO和IR图像，IndraEye数据集能够提供丰富的纹理和热成像信息，从而增强无人机在各种复杂条件下的感知能力。

解决学术问题

IndraEye数据集解决了现有数据集在低光照和复杂环境条件下表现不佳的问题。传统的电光（EO）数据集在夜间或低能见度环境下难以提供足够的细节，而红外（IR）数据集则缺乏EO数据的丰富纹理信息。IndraEye通过整合EO和IR数据，填补了这一空白，为研究者提供了在各种光照和环境条件下训练和评估深度学习模型的全面资源，推动了无人机感知系统在复杂环境中的鲁棒性和准确性。

实际应用

IndraEye数据集的实际应用场景广泛，包括但不限于无人机在夜间或低能见度条件下的搜索与救援、交通监控和地图绘制。在这些应用中，无人机需要能够在各种复杂环境中准确识别和定位目标，而IndraEye数据集提供的多模态数据能够显著提升这些任务的性能。例如，在搜索与救援任务中，无人机可以利用IR图像在夜间或烟雾环境中快速定位受困人员，而EO图像则提供更详细的视觉信息，帮助确认目标身份。

数据集最近研究

最新研究方向

在无人机（UAV）领域，IndraEye数据集的引入为多传感器融合和复杂环境下的目标检测与分割提供了新的研究方向。该数据集结合了电光（EO）和红外（IR）传感器的数据，特别适用于低光照和高动态范围的场景。前沿研究主要集中在多模态学习、域适应和传感器特性的探索上。通过利用IndraEye数据集，研究人员能够开发出更鲁棒和精确的无人机感知系统，特别是在极端条件下的应用，如搜索救援和交通监控。此外，该数据集还促进了视觉语言模型（VLM）在无人机感知任务中的微调，进一步提升了模型的泛化能力和适应性。

相关研究论文

• IndraEye: Infrared Electro-Optical UAV-based Perception Dataset for Robust Downstream Tasks

  印度科学研究所 · 2024年