CosFly

CosFly-Track 是一个用于无人机视觉跟踪和多模态学习的大型数据集，通过多约束轨迹优化生成。数据集包含模拟的无人机视觉跟踪轨迹，每条轨迹记录了RGB观测、深度和分割图、无人机姿态、目标标注、相机投影元数据以及导航航点。当前发布的本地快照包含263个父轨迹目录和526个轨迹目录，每个轨迹包含干净的ORI参考轨迹和增强的aug_001轨迹。数据集适用于无人机视觉目标跟踪、航点预测、视觉导航、鲁棒性训练以及多模态学习等任务。数据组织按照城镇、父轨迹和轨迹类型分类，每个轨迹包含详细的JSON文件和帧级数据。数据集还提供了完整性检查和质量标准，确保数据的可靠性和一致性。

CosFly-Track is a large-scale dataset for UAV visual tracking and multimodal learning, generated through multi-constrained trajectory optimization. The dataset contains simulated UAV visual tracking trajectories, each recording RGB observations, depth and segmentation maps, UAV poses, target annotations, camera projection metadata, and navigation waypoints. The current released local snapshot includes 263 parent trajectory directories and 526 trajectory directories, each containing a clean ORI reference trajectory and an enhanced aug_001 trajectory. The dataset is suitable for tasks such as UAV visual object tracking, waypoint prediction, visual navigation, robustness training, and multimodal learning. Data is organized by town, parent trajectory, and trajectory type, with each trajectory containing detailed JSON files and frame-level data. The dataset also provides integrity checks and quality standards to ensure data reliability and consistency.

原始信息汇总

CosFly-Track 数据集概述

基本信息

• 数据集名称：CosFly-Track
• 许可证：Apache-2.0
• 语言：中文、英文
• 标签：自主导航、无人机、具身智能、轨迹、CARLA、合成数据
• 数据集规模：100 < n < 1K 条轨迹

数据来源与背景

• 来源于论文 CosFly-Track: A Large-Scale Multi-Modal Dataset for UAV Visual Tracking via Multi-Constraint Trajectory Optimization。
• 当前发布为过滤后的本地快照，未来将更新更多数据。
• 数据集基于 CARLA 模拟器 生成，包含模拟无人机视觉跟踪轨迹。

数据集内容

每条轨迹包含：

• RGB 观测图像（通常为 1280×720）
• 深度图（NumPy 格式）
• 实例分割图像
• 无人机位姿（位置与姿态）
• 目标标注（可见性、图像坐标、深度、3D边界框）
• 相机投影元数据
• 导航航路点（世界坐标与图像坐标）

数据统计

当前快照包含：

• 263 个父级轨迹目录
• 526 个跟踪轨迹目录
• 526 个 trajectory.json 文件
• 跟踪类型：ORI（263 条）和 aug_001（263 条）
• 城镇场景：Town01 ~ Town07、Town10HD 及其 _Opt 变体

每条轨迹包含两个跟踪：

• ORI：干净的参考跟踪
• aug_001：添加了无人机位姿扰动的增强跟踪，可用于鲁棒性训练

目录结构

CosFly-Track/ ├── data_sample/ │ └── trajectory_<id>/ │ ├── ORI/ (包含 trajectory.json 和 frames_playback/) │ └── aug_001/ (包含 trajectory.json、perturbation_report.json 和 frames_playback/) └── data_v7/ └── Town<id>/ └── trajectory_<id>/ ├── augmentation_summary.json ├── ORI/ └── aug_001/

数据文件说明

轨迹级 JSON 文件

• 路径：data_v7/<Town>/trajectory_<id>/<trace_dir>/trajectory.json
• 顶层键：camera、dataset_format、frames_dir、pedestrian_blueprint、points、schema、schema_version、source、trace_dir
• points 数组包含每帧标注，关键字段包括：
  • drone_pose：无人机位置（x, y, z）和姿态（pitch, yaw, roll）
  • target：目标元数据和视觉标注
  • nav_waypoint：导航航路点
  • world_to_camera：世界到相机的变换矩阵

其他元数据文件

• augmentation_summary.json：父级轨迹级别的增强摘要
• perturbation_report.json：增强轨迹的扰动报告

帧级文件（每帧目录 frames_playback/frame_<index>/）

• rgb.png：RGB 观测图像
• depth.npy：深度数组（NumPy 格式）
• instance.png：实例分割图像
• debug.png：可视化调试图像
• meta.json：逐帧元数据

数据筛选与质量标准

• 完整性检查：ORI 和 aug_* 跟踪存在，帧文件可读
• 轨迹质量：
  • 平均目标-无人机距离 ≤ 35
  • 最大距离 ≤ 50
  • 最大目标高度 ≤ 2
  • 目标可见比例 > 55%
  • 相邻无人机高度步长 ≤ 5
• 碰撞检查：无人机位姿不进入城镇地图3D边界框，目标3D边界框不与地图物体重叠
• 城镇地图一致性：根据轨迹路径中的城镇名称选择地图边界框

预期用途

• 无人机视觉目标跟踪
• 航路点预测与视觉导航
• 使用增强无人机位姿进行鲁棒性训练
• 基于 RGB、深度、分割和轨迹元数据的多模态学习
• 轨迹预测、可见性建模和基于模拟器的评估

坐标系统

• 使用 CARLA/Unreal 风格的世界坐标和欧拉角（x, y, z, pitch, yaw, roll）
• 用于 Three.js 可视化时，映射关系为 (x, z, -y)

引用信息

bibtex @misc{cosfly_track, title = {CosFly-Track: A Large-Scale Multi-Modal Dataset for UAV Visual Tracking via Multi-Constraint Trajectory Optimization}, author = {TBD}, year = {2026}, howpublished = {TBD} }

搜集汇总

数据集介绍

构建方式

CosFly-Track数据集源自同名论文，通过多约束轨迹优化方法在CARLA模拟器中生成无人机视觉跟踪轨迹。当前发布的过滤快照包含263条父轨迹，每条轨迹均配备清洁参考版本（ORI）与增强版本（aug_001），后者通过对无人机位姿施加扰动并与对齐帧索引构建而成。数据组织按城镇、父轨迹与轨迹类型分层存储，涵盖Town01至Town10HD及其_Opt变体共16个虚拟城镇场景。每条轨迹保存了RGB观测、深度与实例分割图像、无人机位姿、目标标注、相机投影元数据及导航航点等结构化信息，并经过完整性校验、轨迹质量过滤、无人机与目标碰撞检测等多重质量控制流程。

特点

该数据集独特之处在于其多模态融合与双轨迹对比设计。每个场景同时提供洁净轨迹与受扰轨迹，使研究者既能使用增强后的RGB与当前位姿训练模型的鲁棒性，又能以洁净的未来航点作为去噪监督信号。轨迹点包含无人机六自由度位姿、目标可见性与三维包围盒、导航航点在图像与世界的坐标映射，以及世界到相机的投影矩阵，构成完整的视觉导航信息链。数据集规模中等（100至1000条轨迹），但场景多样性高，涵盖多种城镇布局与光照条件，适合用于无人机视觉跟踪与航点预测任务。

使用方法

使用CosFly-Track时，用户可通过load_json接口加载trajectory.json文件，解析其中的points数组获取逐帧标注信息。每帧对应frames_playback目录下以帧索引命名的子文件夹，包含RGB图像、深度数组、实例分割图与调试可视化图。推荐的数据加载流程为：遍历data_v7目录下的轨迹JSON文件，读取首个帧点的元数据与对应帧文件，即可获取无人机位姿、目标信息与导航航点等核心数据。该数据集支持多种研究用途，包括视觉跟踪模型训练、航点预测、多模态学习以及基于仿真的鲁棒性评估。

背景与挑战

背景概述

CosFly-Track数据集由未知研究团队于2026年创建，旨在突破无人机自主视觉跟踪中真实数据采集成本高、场景多样性受限的瓶颈。该数据集依托CARLA仿真器，通过多约束轨迹优化方法生成大规模多模态轨迹数据，涵盖RGB、深度、实例分割图像及无人机位姿、目标标注与导航航点等结构化元信息。其核心研究问题在于为无人机视觉跟踪与航点预测提供兼具鲁棒性与泛化能力的训练基准，尤其在合成数据与真实场景的领域迁移中架起桥梁。作为当前规模最大的无人机多模态跟踪数据集之一，CosFly-Track对推动具身智能体在复杂城市环境中的自适应导航研究具有重要影响力，为后续开发抗扰动、高鲁棒性的跟踪算法奠定了数据基础。

当前挑战

该数据集致力于解决无人机视觉跟踪在复杂动态环境中面临的领域挑战，例如目标尺度剧变、快速运动导致的遮挡、以及传感器噪声引发的位姿漂移。CosFly-Track通过提供干净参考轨迹（ORI）与含扰动增强轨迹（aug_001），使模型能够学习从劣化感知中恢复航点预测的能力。构建过程中，团队面临多重约束优化难题：需同时保证目标-无人机距离稳定（平均≤35米）、无人机碰撞规避（位姿不进入地图3D包围盒）及目标碰撞检测（三维框不与场景物体重叠），并在7个城镇地图中手动配置一致性检测规则。此外，数据完整性检查（如帧对齐、图像可解码）与内部路径泄漏的规避，进一步增加了规模化生产的复杂性。

常用场景

经典使用场景

在自主导航与具身智能的交叉研究领域，CosFly-Track数据集为无人机视觉跟踪任务提供了强大的多模态仿真平台。其最经典的使用场景是结合RGB图像、深度图与实例分割掩码，进行端到端的无人机视觉目标跟踪。研究者可利用每帧同步记录的无人机位姿、目标标注与导航航路点，设计并验证鲁棒的跟踪算法。特别地，数据集中包含干净轨迹（ORI）与受扰动轨迹（aug_001），后者通过姿态扰动和帧对齐，为评估算法在传感器噪声下的稳定性和抗干扰能力创造了严苛的测试环境。该场景支持从单任务跟踪向多任务联合学习的演进，成为推动视觉跟踪与导航决策协同优化的核心试验场。

实际应用

在实际应用中，CosFly-Track数据集的价值体现在为高端物流、巡检与安防领域的无人机自主作业提供预训练基础。基于其高保真RGB-D-分割多模态数据，开发者可训练视觉伺服系统，使无人机在复杂城市峡谷或人群区域中稳定跟踪移动目标，同时依据航路点预测模块提前规划避障路径。数据集中的扰动增强版本尤其适合部署前的鲁棒性验证——模拟传感器抖动或GPS丢星时的行为，从而降低物理试飞风险。此外，该数据集支持轻量化模型的快速原型设计，结合仿真闭环测试，可大幅缩短从算法实验到实际机载部署的迭代周期。

衍生相关工作

围绕CosFly-Track数据集，已衍生出多项启发性工作。其多约束轨迹优化框架催生了对“任务导向型航路点生成”的深入研究，激励研究者提出基于可微分渲染的策略网络，直接从RGB序列端到端输出导航指令。在鲁棒视觉跟踪分支上，研究者借鉴其扰动-干净配对结构，创新性地设计了对抗训练与教师-学生蒸馏结合的算法，在无源域漂移前提下显著提升了跟踪器在极端视角变化下的表现。同时，该数据集的多模态全景记录方式（点云-位姿-分割）启示了自监督表示学习的新范式，如利用深度与分割掩码进行时空一致性预训练，从而在少样本条件下也能获得优秀的跟踪性能。