遇见数据集

IRCHN

收藏
arXiv2026-07-28 更新2026-07-30 收录
官方服务:

资源简介:

IRCHN是由西安交通大学与中国科学院联合构建的多模态无人机视角地理定位基准数据集,旨在解决昼夜交替环境下跨模态视觉定位的评估难题。该数据集包含来自8,820个地理位置的26,460张图像,每个位置均提供可见光无人机图像、红外无人机图像及对应卫星图像三组对齐数据,覆盖农田、海岸线、森林和城市四类典型场景,数据通过专业机载成像系统在海南万宁至陵水区域实地采集。该数据集主要用于评估无人机在昼夜不同光照条件下的地理定位性能,为跨视角与跨模态联合学习研究提供统一基准。

IRCHN is a benchmark multi-modal unmanned aerial vehicle (UAV)-view geolocation dataset jointly constructed by Xi'an Jiaotong University and the Chinese Academy of Sciences, aiming to address the evaluation challenge of cross-modal visual geolocation in day-night alternating environments. This dataset contains 26,460 images from 8,820 geographic locations, with three aligned image sets provided for each location: visible light UAV images, infrared UAV images, and corresponding satellite images. It covers four typical scenarios including farmland, coastline, forest and urban areas. The data was collected on-site in the region from Wanning to Lingshui, Hainan Province using professional airborne imaging systems. This dataset is mainly used to evaluate the geolocation performance of UAVs under different day-night lighting conditions, providing a unified benchmark for cross-view and cross-modal joint learning research.

创建时间:
2026-07-28
原始信息汇总

数据集概述

MASTR-Net 是一个用于昼夜无人机视角地理定位的统一基准与模态自适应网络。

背景与来源

  • 该仓库是论文《A Unified Benchmark and Modality-Adaptive Network for Day-and-Night Drone-View Geo-Localization》的官方实现。
  • 论文作者包括 Songtianhao Xu(中科院西安光学精密机械研究所)、Zhongwei Chen、Zhaoxu Yang*(西安交通大学航天航空学院)和 Weifeng Wang*(中科院西安光学精密机械研究所)。

当前版本状态

  • 当前版本可覆盖论文中报告的所有实验,便于研究人员进行时间效率评估。
  • 后续将更新以提升可理解性和清晰度。

配套资源

  • 论文链接:
  • 预训练模型:](#pre-trained-checkpoints)(链接指向页面内锚点)
  • 引用方式:#Citation(页面内锚点)
搜集汇总
数据集介绍
IRCHN 数据集图片
构建方式
IRCHN数据集依托工业级机载成像平台,在海南万宁至陵水跨度数十公里的区域采集,涵盖农田、海岸线、森林与城区四类代表性场景。每个地理位置均提供一张可见光无人机图像、一张红外无人机图像以及一张对应的高分卫星图像,共计从8820个地理位置获取26460幅影像。采集过程中保留实际机载获取中的过曝、弱光照、运动模糊、斜视视角等真实退化特性,不进行人工筛选以维持任务挑战性。数据集按地理身份对齐而非常规像素级匹配,沿检索方向划分训练集与评估集,确保位置不重叠。
使用方法
IRCHN采用标准检索协议,支持可见光与红外无人机图像分别作为查询,在卫星图库中进行地理定位。评估设置包含无人机到卫星与卫星到无人机两个检索方向,共构成四个评价子任务,每个查询仅有一个正样本。采用Recall@K与平均精度作为指标,并分别汇报整体及四类场景的性能。模型训练可采用三元组软目标约束与关系对齐策略,例如论文提出的MASTR-Net框架。数据集代码开源于GitHub,支持PyTorch环境复现,便于研究者在统一协议下评估昼夜、跨模态定位能力。
背景与挑战
背景概述
无人机视角地理定位(Drone-View Geo-Localization, DVGL)旨在通过匹配无人机查询图像与带地理标签的卫星参考图像,推断目标区域的地理位置。现有基准多为可见光单模态数据,难以评估跨昼夜、跨模态的泛化能力。为弥补这一空白,西安交通大学与中国科学院西安光学精密机械研究所的研究团队于2026年提出了IRCHN基准数据集。该数据集包含从8820个地理位置的田间、海岸、森林、城区场景中采集的26460张图像,每个位置提供一张可见光无人机图、一张红外无人机图及一张对应的卫星图,实现了跨光照与跨模态的统一评估框架。IRCHN不仅为昼夜连续定位提供了标准化测试平台,还推动了DVGL领域从单一白天场景向全天候环境的拓展,对相关研究具有重要引领作用。
当前挑战
IRCHN数据集面临的核心挑战源于多维度差异的耦合:首先,光照与模态鸿沟——可见光图像依赖色彩、纹理等线索,而红外图像纹理弱、边界模糊,两者与卫星图像之间形成显著的模态与视角差异,现有方法难以平衡昼夜场景下的定位一致性。其次,场景多样性带来的歧义性——重复的农田边界、大面积均质水域、密集植被及城市遮挡分别导致不同程度的结构混淆。此外,数据构建过程中存在实际困难:航空采集的可见光图像常出现过曝、阴影、运动模糊与姿态倾斜,红外图像则因热响应相似而区分度低,且需同时保证可见光、红外与卫星图像的地理对齐,这对采集系统与后处理流程提出了极高要求。
常用场景
经典使用场景
IRCHN数据集的核心经典用途在于实现昼夜光照变化条件下的无人机视角地理定位。该数据集为每个地理位置同步提供了可见光无人机图像、红外无人机图像及对应的卫星参考图像,从而构建了一个统一的多模态基准平台。研究者可以在此平台上系统评估模型在面对日间可见光与夜间红外成像时的跨视角和跨模态匹配能力,尤其适用于验证算法在大幅光照变化、视角差异及场景多样性环境中的鲁棒泛化性能。
解决学术问题
该数据集解决了现有无人机地理定位研究中缺乏统一昼夜评测基准的学术瓶颈。此前,可见光与红外场景下的定位评估往往依赖独立数据集间的迁移测试,导致场景内容与数据分布的混淆。IRCHN通过提供地理坐标对齐的可见光-红外-卫星三元组,使研究者能够在控制地理内容的条件下,系统性地分离和解析光照条件变化与传感模态差异对定位精度的影响,推动了跨光照、跨模态地理定位理论的严谨评估与可重复性研究的发展。
实际应用
在实际应用中,IRCHN数据集支撑着全天候无人机自主导航与侦察系统的开发。基于该数据集训练的模型能够实现在日间强光、夜间弱光、浓密阴影等复杂光照条件下,依然稳健地通过无人机拍摄的可见光或红外图像检索到卫星地图上的精确地理位置。这一能力对军事侦察、灾害搜救、夜间巡逻、边境监控以及农业植保等需要连续昼夜作业的领域具有不可替代的实用价值。
数据集最近研究
最新研究方向
IRCHN作为首个统一昼夜条件下无人机视角地理定位的多模态基准数据集,正推动跨视角与跨模态联合对齐的前沿研究。当前热点聚焦于应对可见光与红外图像间的显著外观差异及视角导致的几何失真,研究者通过构建模态自适应特征增强、双向选择性状态空间关系建模及软最优传输关系对齐等创新框架,以弥合多模态数据分布鸿沟。该数据集覆盖农田、海岸、森林与城市四类典型场景,为系统性评估复杂光照环境下的定位鲁棒性提供了标准化平台,其发布不仅加速了昼夜连续定位技术的实用化进程,更催生了对动态场景适应性与跨数据集泛化能力的新一轮探索,对提升无人机在GNSS拒止环境下的自主导航可靠性具有深远意义。
相关研究论文
  • 1
    A Unified Benchmark and Modality-Adaptive Network for Day-and-Night Drone-View Geo-Localization西安交通大学·强度与振动国家重点实验室·陕西省飞行器环境控制重点实验室·航天航空学院; 中国科学院·西安光学精密机械研究所 · 2026年
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务