IndraEye

IndraEye数据集是由印度科学院航空航天工程系和罗伯特博世网络物理系统中心共同创建的多传感器(RGB-IR)数据集。该数据集包含了从不同角度、不同高度、不同背景和不同时间捕获的5612张图片，总计145666个实例，支持目标检测和分割的多模态学习。IndraEye旨在推动更健壮、准确的天空感知系统的发展，特别是在具有挑战性的环境中。

The IndraEye dataset is a multi-sensor (RGB-IR) dataset jointly created by the Department of Aerospace Engineering, Indian Institute of Science, and the Robert Bosch Centre for Cyber-Physical Systems. This dataset contains 5,612 images captured from varying angles, altitudes, backgrounds and time points, with a total of 145,666 instances, and supports multimodal learning for object detection and segmentation. The IndraEye dataset is designed to advance the development of more robust and accurate sky perception systems, especially in challenging environments.

搜集汇总

数据集介绍

构建方式

IndraEye数据集的构建采用了多传感器融合技术，通过搭载RGB和红外（IR）相机的DJI M600 Pro无人机进行数据采集。数据采集过程覆盖了多种场景，包括不同高度、角度、背景和光照条件（白天与夜晚），以确保数据的多样性和广泛性。采集到的图像经过严格的人工标注流程，使用X-AnyLabeling工具进行边界框标注，并利用SAMRS工具进行像素级语义分割标注，确保了标注的高精度和一致性。此外，数据集还特别考虑了隐私保护，对可见的人脸和车牌信息进行了模糊处理。

特点

IndraEye数据集以其多模态和多视角特性著称，包含5,612张图像（2,336张RGB和3,276张IR）和145,666个实例标注，覆盖了13个类别，包括车辆和行人等。数据集的独特之处在于其丰富的场景多样性，涵盖了从城市到高速公路的不同环境，以及从不同高度和角度捕获的图像，显著提升了数据在复杂环境下的适用性。此外，数据集还提供了白天和夜晚的分割，为低光照条件下的研究提供了宝贵资源。

使用方法

IndraEye数据集适用于多种计算机视觉任务，包括多模态学习、域适应目标检测和语义分割。研究人员可以利用该数据集进行RGB到IR的域适应研究，通过对比不同模态下的性能差异，优化模型在红外图像上的表现。此外，数据集的多任务标注支持同时进行目标检测和语义分割的联合训练，为开发鲁棒的空中感知系统提供了全面的基准。数据集的使用方法包括加载预处理的图像和标注文件，结合现有的域适应算法（如Mean Teacher框架）进行模型训练和评估。

背景与挑战

背景概述

IndraEye数据集由印度科学院的Manjunath D、Aniruddh Sikdar等研究人员于2025年提出，旨在解决无人机多视角视觉系统中可见光（RGB）与红外（IR）跨模态适应的核心问题。作为首个专为航空感知设计的多传感器数据集，其包含5,612张图像及145,666个实例，覆盖13类道路目标，通过动态调整俯仰角与偏航角采集多角度、多海拔、多时段的同步RGB-IR数据。该数据集通过提供未配对的跨模态样本，显著降低了传统方法对精确配准图像对的依赖，推动了《SAGA: Semantic-Aware Gray color Augmentation》等创新算法的验证，为低光照环境下的无人机目标检测与分割建立了新基准。

当前挑战

IndraEye数据集面临三重核心挑战：在领域问题层面，红外图像缺乏色彩与纹理特征导致RGB训练模型产生高误检率，且跨模态域差异使伪标签质量显著下降；在构建过程中，无人机动态飞行导致RGB-IR传感器因刷新率差异产生时序错位，而不同焦距与视场角引发的深度视差使传统配准方法失效；此外，长尾分布、小目标密集场景及昼夜光照差异进一步加剧了标注复杂度，需通过两阶段人工校验机制保障标注精度。这些挑战使得该数据集成为验证跨模态域适应算法鲁棒性的重要测试平台。

常用场景

经典使用场景

在无人机多模态视觉系统中，IndraEye数据集为可见光（RGB）与红外（IR）跨域适应研究提供了关键基准。其多视角、多高度及昼夜分时采集的特性，使得该数据集特别适用于验证模型在复杂环境下的域适应能力，如通过语义感知灰度增强（SAGA）策略缓解RGB-IR模态间的色彩偏差问题。典型应用包括基于均值教师框架的跨模态目标检测，其中教师模型通过混合RGB-灰度图像生成伪标签，显著提升了对红外图像中小尺度目标的检测精度。

衍生相关工作

IndraEye催生了多模态感知的系列创新研究，包括对比学习增强的均值教师框架（CMT+SAGA）和双教师域适应架构（D3T）。其数据特性启发了后续工作如SKDNet（光谱知识蒸馏）和OGPNet（多模态分割），推动了无人机视觉从单一模态向跨模态协同分析的范式转变。数据集还被纳入FLIR、LLVIP等基准的对比体系，成为评估域适应算法在倾斜视角下性能的新标准。

数据集最近研究

最新研究方向

在无人机多模态感知领域，IndraEye数据集的最新研究聚焦于可见光-红外跨模态域自适应技术的突破。针对RGB-IR图像间的域偏移问题，研究者提出了语义感知灰度增强策略(SAGA)，通过选择性保留目标实例的结构特征同时抑制色彩偏差，显著提升了Mean Teacher框架在跨模态目标检测中的适应性。该数据集独特的斜视角采集方式和多时空特性，为探索复杂场景下的小目标检测、低光照适应性以及传感器互补性提供了重要实验平台。当前研究热点集中于结合对比学习与自监督方法，以解决无人机视角特有的尺度多变和遮挡问题，推动空中感知系统在夜间监控、灾害救援等实际应用中的鲁棒性发展。

相关研究论文

• SAGA: Semantic-Aware Gray color Augmentation for Visible-to-Thermal Domain Adaptation across Multi-View Drone and Ground-Based Vision Systems

  印度科学院航空航天工程系, 印度科学院罗伯特博世网络物理系统中心 · 2025年