ESCVehicle

ESCVehicle是一个基于无人机的可见光-红外车辆检测数据集，具有广泛的场景覆盖。该数据集包含10,727对对齐的可见光和红外图像，超过360,000个精细标注的旋转边界框，涵盖七种车辆类别、九种代表性场景类型和典型的昼夜时段。数据采集在自然和恶劣天气条件下进行，为车辆检测和分类任务提供了丰富全面的数据支持。

ESCVehicle is a drone-based visible-infrared vehicle detection dataset with extensive scene coverage. This dataset contains 10,727 pairs of aligned visible and infrared images, as well as over 360,000 precisely annotated rotated bounding boxes, covering seven vehicle categories, nine representative scene types and typical day-night periods. The data was collected under both natural and adverse weather conditions, providing comprehensive and abundant data support for vehicle detection and classification tasks.

原始信息汇总

ESCVehicle 数据集概述

数据集基本信息

• 数据集名称：ESCVehicle (Visible-Infrared Vehicle Dataset with Extensive Scene Coverage)
• 核心特点：首个由无人机采集的、具有广泛场景覆盖的可见光-红外车辆检测数据集。
• 论文链接：https://ieeexplore.ieee.org/document/11358942

数据规模与内容

• 图像数量：包含 10,727 对配准的可见光与红外图像。
• 标注数量：超过 360,000 个精细标注的旋转边界框。
• 车辆类别：涵盖 7 类车辆，包括 car, suv, truck, bus, van, freight car 和 construction vehicle。
• 场景类型：覆盖 9 种代表性场景，包括 building, parking lot, road, tree covered, rain, fog, snowfield, lakes nearby 和 hills。
• 时间覆盖：包含典型的白天与夜间时段。
• 环境条件：数据采集于自然及恶劣天气条件下。

数据集目的与价值

• 旨在解决现有数据集场景多样性有限、环境复杂性不足的问题。
• 为复杂真实世界场景下的多模态算法训练与评估提供全面数据支持。
• 专门设计用于支持复杂多样环境下的车辆检测任务。

数据获取与更新

• 数据下载：
  • Google Drive: coming soon...
  • 百度网盘: https://pan.baidu.com/s/1_Ahx2ji8jpbQhDv78J97tA?pwd=1109
• 最新动态 (2026/4/12)：已上传包含默认数据集划分的 data.json 文件供参考。

相关资源

• 代码：实现代码正在整理中，将于近期公开。
• 引用文献：
  • 主论文：Song, J., Zhang, N., Wang, Z., & Tian, T. (2026). ESCVehicle: A Drone-Based Visible–Infrared Vehicle Benchmark With Extensive Scene Coverage. IEEE Transactions on Geoscience and Remote Sensing, 64, 1-16.
  • 相关工作：Zhang, N., et al. (2025). Omni-Scene Infrared Vehicle Detection: An Efficient Selective Aggregation approach and a unified benchmark. ISPRS Journal of Photogrammetry and Remote Sensing, 223, 244–260.

使用声明与联系

• 本数据集由作者独立采集和标注，仅用于研究目的。
• 所有数据均从公开可访问的环境中获取。
• 如发现涉及隐私或潜在侵权的内容，请及时联系作者。
• 联系人邮箱：
  • Jiamin Song: [e-mail]
  • Tian Tian: [e-mail]
  • Zhenhao Wang: [e-mail]

搜集汇总

数据集介绍

构建方式

在无人机遥感与智能交通交叉领域，ESCVehicle数据集的构建体现了对复杂现实场景的系统性覆盖。该数据集通过无人机平台同步采集可见光与红外模态的图像数据，共包含10,727对经过严格配准的双模态图像样本。数据采集过程精心设计了九类代表性场景，涵盖建筑区、停车场、道路、树林覆盖区以及雨、雾、雪地、湖泊附近和丘陵等多种自然环境与恶劣天气条件，同时兼顾了日间与夜间时段。所有图像中的车辆实例均采用旋转边界框进行精细标注，标注总量超过36万个，覆盖了轿车、SUV、卡车、巴士、厢式货车、货运车及工程车辆等七类常见车型，确保了数据在场景多样性、环境复杂性和类别完整性上的高标准。

使用方法

研究者可利用该数据集开展可见光-红外双模态车辆检测、分类与跨模态融合算法的训练与评估。数据集提供了预设的数据划分文件（data.json），便于用户快速构建训练集、验证集与测试集。在具体应用中，用户可加载配对的可见光与红外图像及其对应的旋转框标注文件，进行数据预处理、模型输入构建等操作。该数据集尤其适用于开发与验证针对复杂背景、恶劣天气及光照变化的鲁棒检测算法。通过同时利用可见光的丰富纹理信息与红外模态对光照、天气的不变性，研究者能够探索有效的特征增强与跨模态融合策略，以提升模型在真实无人机巡检场景下的性能。相关实现代码将由作者团队后续公开，以辅助研究社区的复现与拓展。

背景与挑战

背景概述

无人机载视觉感知技术在交通管理与应急响应等领域展现出巨大潜力，但现有车辆检测数据集常受限于场景单一性与环境复杂性不足，难以支撑真实复杂场景下的多模态算法训练与评估。为此，华中科技大学研究团队于2026年发布了ESCVehicle数据集，作为首个具备广泛场景覆盖的无人机可见光-红外车辆检测基准。该数据集包含10,727对配准图像与超过36万个精细标注的旋转边界框，涵盖七类车辆、九种典型场景及昼夜时段，数据采集兼顾自然与恶劣天气条件，为复杂环境下的车辆检测与分类研究提供了全面数据支撑。

当前挑战

在领域问题层面，ESCVehicle致力于应对复杂多场景下的跨模态车辆检测挑战，其核心在于解决可见光与红外模态在昼夜、雨雾雪等恶劣条件下特征互补与对齐难题，以及目标在密集遮挡、尺度多变、背景干扰下的鲁棒识别问题。在构建过程中，研究团队面临数据采集协调性挑战，需确保双模态传感器在无人机动态飞行中的时空同步与精确配准；同时，大规模旋转边界框标注需克服目标方向多样性带来的标注一致性难题，并需设计高效流程以处理超过36万个实例的精细化标注工作。

常用场景

经典使用场景

在无人机遥感与计算机视觉交叉领域，ESCVehicle数据集为多模态车辆检测算法提供了经典验证平台。该数据集通过无人机采集的可见光与红外图像对，覆盖了建筑、停车场、道路、树林覆盖、雨雾雪天、湖泊附近及丘陵等九类代表性场景，并包含昼夜时段与恶劣天气条件，使得研究者能够系统评估算法在复杂环境下的鲁棒性与泛化能力。其精细标注的旋转边界框与七种车辆类别，为模型训练与性能对比奠定了坚实基础，尤其适用于推动跨模态融合技术在真实世界场景中的应用。

解决学术问题

ESCVehicle数据集有效应对了现有无人机车辆检测数据中场景单一与环境复杂性不足的学术挑战。通过提供大规模、多场景、多模态的对齐图像数据，该数据集支持研究者探索复杂背景下的目标特征分离、跨模态信息互补以及旋转目标检测等关键问题。其丰富的标注与多样化的环境条件，为开发自适应特征增强与上下文感知融合方法提供了实验依据，显著提升了车辆检测算法在真实复杂场景中的准确性与稳定性，推动了遥感视觉领域向更实用、更鲁棒的方向发展。

实际应用

在实际应用层面，ESCVehicle数据集为智能交通管理、应急响应与城市监控等场景提供了重要数据支撑。基于无人机平台的可见光-红外双模态数据，能够适应昼夜交替与恶劣天气下的持续监测需求，例如在雨雾环境中辅助交通流量分析，或在夜间搜索救援任务中增强车辆识别能力。该数据集的高质量标注与广泛场景覆盖，可直接用于训练部署于边缘设备的轻量级检测模型，提升实际系统中车辆目标实时追踪与分类的效能，促进无人机遥感技术在智慧城市与公共安全领域的落地。

数据集最近研究

最新研究方向

在无人机遥感与智能交通领域，多模态车辆检测技术正面临复杂环境适应性不足的挑战。ESCVehicle数据集以其广泛的场景覆盖与可见光-红外对齐数据，推动了跨模态融合检测的前沿探索。当前研究聚焦于构建鲁棒的跨模态特征增强架构，例如通过自适应特征增强卷积机制剥离复杂背景干扰，并利用空间上下文感知模块深化模态间互补性。这些进展不仅提升了昼夜及恶劣天气下的检测稳定性，也为应急响应与智慧城市管理提供了关键技术支撑，标志着多源遥感数据向实用化、精细化分析的重要跨越。