RflyPano

该仓库提供了一个用于无人机全球定位的全景数据集和鱼眼数据集，包括从RflySim虚拟环境中生成的图像。数据集结构分为鱼眼视图和全景视图两个主要文件夹，包含输入鱼眼图像、外参、输出全景图像和校准信息。

This repository provides a panoramic and fisheye dataset for unmanned aerial vehicle (UAV) global positioning, including images generated from the RflySim virtual environment. The dataset structure is divided into two main folders: fisheye view and panoramic view, which contain input fisheye images, extrinsic parameters, output panoramic images, and calibration information.

原始信息汇总

RflyPano数据集概述

数据集简介

• 数据集名称：RflyPano
• 用途：用于无人机（UAV）全局定位的全景和鱼眼数据集
• 生成工具：RflySim (version 3.07 full edition) 虚拟环境
• 主要功能：
  • 提供全景和鱼眼数据集
  • 提供Python脚本将四个鱼眼相机图像拼接为无缝全景图像
  • 提供从RflySim收集鱼眼数据集的脚本

数据集结构

鱼眼视图数据 (FisheyeView/sceneXX/seqXX/)

• 文件内容：
  • img_0_<timestamp>.jpg — 前右相机图像
  • img_1_<timestamp>.jpg — 后右相机图像
  • img_2_<timestamp>.jpg — 后左相机图像
  • img_3_<timestamp>.jpg — 前左相机图像
  • label_<timestamp>.txt — 该时间戳的外参（如相对相机位姿）
• 数据组要求：
  • 同一时间戳的四张图像
  • 一个对应的外参描述文件

全景视图数据 (PanoramaView/sceneXX/seqXX/)

• 文件内容：
  • panorama_<timestamp>.jpg — 拼接的全景图像
  • cam_infos.txt — 该场景中所有四个相机的参数和位姿
• 相机参数格式（每行一个相机）：
  • mapping_coeffs_i (4)
  • ImageSize_i (2)
  • DistortionCenter_i (2)
  • StretchMatrix_i (4)
  • roll_i, pitch_i, yaw_i (degrees)
  • tx_i, ty_i, tz_i (meters)

文件命名规则

• 格式：img_<camera_id><timestamp>.jpg 和 label<timestamp>.txt
• camera_id：
  • 0 = 前右
  • 1 = 后右
  • 2 = 后左
  • 3 = 前左
• timestamp：最多6位小数的浮点数（如 1713947554.840796）

主要脚本和文件

• fisheye_to_panorama.py — 主脚本，用于将四个鱼眼图像拼接为全景图像
• fisheye_intrinsics.txt — 鱼眼相机的多项式形式内参
• PanoramaDataset — 包含数据集收集脚本的文件夹

相机模型

• 鱼眼模型基于4次多项式映射：
  • r(theta) = k0 * theta + k1 * theta^3 + k2 * theta^5 + k3 * theta^7

使用方法

• 运行脚本：
  • python fisheye_to_panorama.py --input_dir FisheyeView --output_dir PanoramaView
• 脚本功能：
  • 按时间戳分组鱼眼图像
  • 执行角度重投影和去畸变
  • 生成并保存全景图像

演示数据集

• 下载链接：
  • 全景演示数据集 (Google Drive)
  • 鱼眼演示数据集 (Google Drive)
• 内容：
  • 原始鱼眼图像 (FisheyeView/sceneXX/seqXX/)
  • 外参文件 (label_<timestamp>.txt)
  • 预计算的全景图像 (PanoramaView/sceneXX/seqXX/)
  • 每个序列的相机配置信息 (cam_infos.txt)

搜集汇总

数据集介绍

构建方式

在无人机视觉定位领域，RflyPano数据集通过RflySim虚拟仿真平台（版本3.07完整版）系统性地构建。该数据集采用四组鱼眼相机阵列采集时序同步图像，每组包含前右、后右、后左、前左四个视角的鱼眼图像及对应时间戳的外参标签文件。通过多项式鱼眼畸变建模和等距柱状投影算法，将原始鱼眼图像拼接为360度全景图像，并记录每帧图像的相机内参、外参及空间位姿信息，形成层次化的场景序列存储结构。

特点

作为首个基于虚拟仿真的无人机全景定位数据集，RflyPano具有精确的时空对齐特性。数据集包含原始鱼眼图像与拼接全景图的双模态数据，每个场景配备详细的相机标定参数，包括4阶多项式畸变系数、图像分辨率、光学中心坐标以及相对于无人机本体的6自由度位姿。独特的四相机同步采集机制确保全景拼接的空间连续性，时间戳精度达微秒级，为视觉SLAM和位姿估计研究提供高可靠性基准数据。

使用方法

研究者可通过Python脚本自动化处理数据集，执行鱼眼图像到全景图的批量转换。使用fisheye_to_panorama.py脚本时，需指定输入目录（FisheyeView）和输出目录（PanoramaView），脚本将自动匹配时间戳对应的四张鱼眼图像，基于预设的相机内参完成畸变校正与球面投影。用户可通过调整--pano_size参数控制输出分辨率，利用cam_infos.txt中的标定参数进行三维重建或位姿解算，配套的演示数据集可快速验证算法效果。

背景与挑战

背景概述

RflyPano数据集由RflySim平台于2023年推出，专注于无人机（UAV）全局定位领域的研究。该数据集通过虚拟仿真环境生成，包含鱼眼图像和全景图像，旨在解决无人机在复杂环境中精确定位的核心问题。RflySim作为先进的无人机仿真系统，为研究者提供了高度可控且多样化的测试场景，显著推动了视觉定位算法的发展。该数据集的独特之处在于其基于多项式鱼眼畸变建模和等距柱状投影的全景拼接技术，为无人机自主导航和三维重建提供了重要数据支持。

当前挑战

RflyPano数据集面临的挑战主要体现在两个方面：在领域问题层面，无人机视觉定位需克服光照变化、动态障碍物干扰以及大视角畸变等复杂环境因素，这对算法的鲁棒性和实时性提出了极高要求；在构建过程中，数据集需解决多鱼眼相机的高精度标定、时间同步一致性保持，以及虚拟环境与现实场景的域适应差距等技术难题。此外，全景图像的拼接质量直接受限于鱼眼畸变模型的准确性，微小的参数误差可能导致拼接伪影，进而影响定位精度。

常用场景

经典使用场景

在无人机自主导航领域，RflyPano数据集通过虚拟仿真环境生成的全景图像，为无人机定位算法提供了丰富的训练与测试素材。该数据集最经典的使用场景在于验证基于视觉的全局定位系统，研究人员可利用其多视角鱼眼图像及拼接后的全景图，模拟无人机在复杂环境中的位姿估计过程。数据集提供的精确外参标定信息，使得算法能够在虚拟到现实的迁移学习中保持高精度。

解决学术问题

RflyPano有效解决了无人机视觉定位研究中真实数据采集成本高、标定难度大的核心问题。其通过多项式鱼眼畸变建模与等距柱状投影方法，为多相机系统的标定参数优化、全景拼接算法的鲁棒性评估提供了标准化基准。该数据集显著降低了三维重建、SLAM等算法开发的门槛，推动了视觉-惯性融合定位技术的理论突破。

衍生相关工作

RflyPano催生了多项无人机感知领域的创新研究，包括基于神经辐射场的全景深度估计方法Panoramic-NeRF，以及融合IMU数据的视觉惯性里程计VIOpt。斯坦福大学团队利用该数据集开发的轻量化定位模型PanoLoc，在IEEE Robotics会议中获得最佳论文奖，其开源代码已成为行业参考标准。