TII-RATM

TII-RATM数据集是由技术革新研究所自主机器人研究中心开发的一个全面标注的开放设计数据集，专注于自主和有人驾驶的高速飞行无人机竞速。该数据集包含约29分钟、约7公里的飞行数据，涵盖高分辨率、高频率的视觉、惯性和运动捕捉数据，以及控制命令和多种光照条件下的数据。数据集不仅包括完整的无人机设计规范，还提供了用于数据可视化和后处理的开放源代码。此数据集旨在支持机器人和人工智能社区在无人机竞速领域的研究，特别是在视觉惯性测程、场景理解、映射和规划以及基于数据系统识别等方面。

The TII-RATM dataset is a comprehensively annotated open-design dataset developed by the Autonomous Robotics Research Center of the Technology Innovation Institute, focusing on fully autonomous and manned high-speed drone racing. This dataset encompasses approximately 29 minutes of flight data spanning a total distance of 7 kilometers, covering high-resolution, high-frequency visual, inertial, and motion capture data, as well as control commands and data collected under various lighting conditions. In addition to complete drone design specifications, the dataset also provides open-source code for data visualization and post-processing. This dataset aims to support research in the drone racing domain for the robotics and artificial intelligence communities, particularly in areas such as visual-inertial odometry, scene understanding, mapping and planning, and data-driven system identification.

原始信息汇总

Race Against the Machine 数据集概述

数据集描述

• 飞行速度：超过21米/秒的高速飞行
• 飞行模式：自主飞行和人工驾驶飞行，多条轨迹
• 数据收集：高分辨率、高频率的视觉、惯性和运动捕捉数据
• 数据内容：包含无人机竞速门，有边界框和单个角点标签，以及控制输入和电池电压

数据集下载与安装

• 操作系统：Ubuntu 20.04 LTS、macOS 14、Windows 11

• Python版本：3.8、3.11、3.9

• 下载步骤： sh git clone https://github.com/Drone-Racing/drone-racing-dataset.git cd drone-racing-dataset pip3 install -r requirements.txt

• 数据下载：

  • Ubuntu和macOS： sh sudo apt install wget sudo chmod +x data_downloader.sh ./data_downloader.sh

  • Windows：双击 data_downloader.cmd

数据格式

• 文件结构：
  • data/piloted/ 包含12个飞行文件夹
  • data/autonomous/ 包含18个飞行文件夹
• CSV文件：
  • 每个飞行包含两个CSV文件：
    • 与相机帧同步的采样/插值文件（..._cam_ts_sync.csv）
    • 500Hz采样/插值文件（..._500hz_freq_sync.csv）
  • 列信息：

    列号和名称	单位	数据类型
    0. elapsed_time	$s$	float
    1. timestamp	$mu s$	int
    2. img_filename	n/a	string
    3. accel_[x/y/z]	$m/s^2$	float
    6. gyro_[x/y/z]	$rad/s$	float
    9. thrust[0-3]	$1$	float $in [0,1]$
    13. channels_[roll/pitch/thrust/yaw]	$1$	int $in [1000,2000]$
    17. aux[1-4]	$1$	int $in [1000,2000]$
    21. vbat	$V$	float
    22. drone_[x/y/z]	$m$	float
    25. drone_[roll/pitch/yaw]	$rad$	float
    28. drone_velocity_linear_[x/y/z]	$m/s$	float
    31. drone_velocity_angular_[x/y/z]	$rad/s$	float
    34. drone_residual	$m$	float
    35. drone_rot[[0-8]]	$1$	float
    44. gate[1-4]_int_[x/y/z]	$m$	float
    56. gate[1-4]_int_[roll/pitch/yaw]	$rad$	float
    68. gate[1-4]_int_residual	$m$	float
    72. gate[1-4]_int_rot[[0-8]]	$1$	float
    108. gate[1-4]_marker[1-4]_[x/y/z]	$m$	float

图像格式

• 文件夹结构：
  • camera_flight-.../ 包含所有捕获的JPEG格式帧
  • labels_flight-.../ 包含竞速门的边界框和角点标签，格式为TXT
• 标签格式：
  • 每行格式为 0 cx cy w h tlx tly tlv trx try trv brx bry brv blx bly blv
  • 其中 0 是门类标签，cx, cy, w, h 是边界框中心坐标、宽度和高度，tlx, tly, tlv 等是角点坐标和可见性

可视化脚本

• 数据绘制： sh cd scripts/ python3 ./data_plotting.py --csv-file ../data/autonomous/flight-01a-ellipse/flight-01a-ellipse_cam_ts_sync.csv

• 标签可视化： sh cd scripts/ python3 ./label_visualization.py --flight flight-01a-ellipse

ROS2 Bags

• 测试环境：Ubuntu 20.04 LTS
• ROS2 Bags存储位置：每个飞行的 ros2bag_.../ 文件夹
• 播放ROS2 Bag： sh source ~/drone_racing_ws/install/setup.bash ros2 bag play data/autonomous/flight-01a-ellipse/ros2bag_flight-01a-ellipse

许可证

• 数据集许可证：CC BY 4.0

搜集汇总

数据集介绍

构建方式

在无人机竞速领域，数据集的构建需兼顾高速飞行下的多模态数据采集与精确标注。TII-RATM数据集通过定制化开源四旋翼平台，在配备32相机运动捕捉系统的室内飞行场中，采集了自主与人工操控模式下的高速飞行数据。数据采集涵盖椭圆、双纽线及三维竞速轨道等多种轨迹，并在三种光照条件与两种相机参数设置下进行重复实验，确保数据的多样性与鲁棒性。所有飞行均以120Hz频率采集640×480像素的RGB图像，同步记录500Hz的惯性测量单元数据、275Hz的运动捕捉真值及控制指令，并通过网络时间协议实现多源数据的高精度时间同步。

特点

该数据集的核心特点在于其全面性与高精度标注。它不仅提供了超过20m/s的高速自主与人工操控飞行数据，还包含了逐帧标注的竞速门框角点关键点，支持视觉惯性里程计、场景理解与控制策略的联合研究。数据以多种格式呈现，包括按相机时间戳对齐的CSV文件、均匀采样的高频数据表及ROS2数据包，便于不同研究需求下的直接使用。此外，数据集附有开源可视化与后处理脚本，以及基于商用现成组件的无人机完整设计规范，极大降低了复现与比较研究的门槛。

使用方法

研究人员可通过数据集提供的预处理CSV文件快速获取对齐后的多模态数据，或利用开源脚本进行自定义频率的重采样与可视化。对于视觉任务，可结合标注文件中的门框边界框与角点坐标，开发或评估姿态估计与目标检测算法；在控制与状态估计方面，高频惯性数据与运动捕捉真值为系统辨识与滤波器设计提供了可靠基准。数据集的统一格式支持与现有竞速数据集进行横向比较，而开源硬件设计则允许在真实平台上验证算法性能，推动自主无人机竞速研究的可重复性与跨社区协作。

背景与挑战

背景概述

随着无人机技术的飞速发展，多旋翼无人机在基础设施监测、紧急配送等复杂环境中展现出卓越的机动性能。自主无人机竞速作为评估这些能力的关键基准，其研究对推动机器人学与人工智能的进步具有重要意义。在此背景下，由阿布扎比技术创新研究院自主机器人研究中心主导，联合博洛尼亚大学的研究团队，于2024年正式发布了TII-RATM数据集。该数据集旨在为高速、激进飞行的自主与人工操控无人机提供全面、高频率的视觉-惯性-运动捕捉数据，并包含详尽的门框角点标注与控制指令信息，以支持视觉惯性里程计、场景理解及数据驱动控制等多方面研究，为全球科研人员建立公平、可重复的性能比较基准。

当前挑战

在无人机竞速领域，核心挑战在于如何在激进机动飞行中实现精准且鲁棒的视觉惯性里程计，同时应对复杂空气动力学与有限计算资源的约束。TII-RATM数据集针对这些难题，提供了高速（最高速度超过20米/秒）、高频率（图像120赫兹，惯性数据500赫兹）的多模态数据，以促进算法在动态环境中的稳健性研究。在数据集构建过程中，研究团队面临多重挑战：包括在室内环境中同步多源传感器数据的时间对齐问题，确保毫米级精度的运动捕捉系统在高速飞行下的稳定追踪，以及在不同光照条件下保持图像质量与标注一致性。此外，设计既能自主飞行又兼容人工操控的开放式无人机平台，并实现全角点级门框标注，均需克服硬件集成与自动化标注流程中的技术瓶颈。

常用场景

经典使用场景

在无人机自主竞速领域，TII-RATM数据集为视觉-惯性里程计（VIO）与场景理解算法的开发提供了关键基准。该数据集通过高速（>20m/s）自主与人工操控飞行轨迹，结合高分辨率、高频率的视觉与惯性数据，以及运动捕捉系统提供的毫米级精度地面真值，使得研究人员能够在复杂动态环境中评估定位与建图算法的鲁棒性。其独特的门框角点级标注进一步支持了语义感知任务，如门框姿态估计与相对定位，为无人机在竞速场景中的实时决策与控制奠定了数据基础。

衍生相关工作

TII-RATM数据集已催生了一系列围绕无人机自主竞速的经典研究工作。在感知方向，基于其角点标注数据，研究者开发了新型门框姿态估计算法，提升了在部分遮挡与高速运动下的检测精度。在控制领域，数据集支持了模型预测控制（MPC）与强化学习（RL）策略的验证与优化，实现了在三维竞速轨道上的时间最优轨迹跟踪。同时，其开源无人机设计促进了硬件复现研究，如基于商用组件的敏捷飞行平台改进，降低了相关研究的入门门槛。这些工作共同推动了无人机自主系统在速度、鲁棒性与通用性方面的边界拓展。

数据集最近研究

最新研究方向

在无人机自主竞速领域，TII-RATM数据集正推动前沿研究向多模态感知与实时决策融合方向深化。该数据集以其高分辨率视觉-惯性数据、全标注的竞速门框角点信息以及多样化光照条件下的飞行记录，为视觉惯性里程计（VIO）在高速机动中的鲁棒性优化提供了关键基准。当前研究热点集中于利用该数据集开发轻量化神经网络，以实现在复杂动态环境中的实时门框姿态估计与轨迹规划，同时结合模型预测控制（MPC）与深度学习，探索在资源受限的机载计算平台上实现类人甚至超人的自主飞行性能。这一进展不仅加速了无人机在紧急配送、基础设施巡检等实际场景的应用落地，也为人工智能与机器人学的交叉研究设立了可复现、可比较的开放标准。

相关研究论文

• Race Against the Machine: a Fully-annotated, Open-design Dataset of Autonomous and Piloted High-speed Flight

  技术革新研究所自主机器人研究中心 · 2024年