Race Against the Machine

一个完全注释的、开放设计的数据集，包含自主和有人驾驶的高速飞行数据，具有高分辨率、高频率的视觉、惯性和运动捕捉数据收集。数据集包括无人机竞速门—带有边界框和单独的角落标签，以及控制输入和电池电压。

A fully annotated, openly designed dataset containing autonomous and manned high-speed flight data, featuring high-resolution, high-frequency visual, inertial, and motion capture data collection. The dataset includes drone racing gates—with bounding boxes and individual corner labels—as well as control inputs and battery voltage.

原始信息汇总

数据集概述

数据集名称

• Race Against the Machine

数据集特点

• 高速（>21m/s）且激烈的四旋翼飞行数据
• 包含自主飞行和人工驾驶飞行，涉及多种轨迹
• 高分辨率、高频率收集的视觉、惯性和运动捕捉数据
• 包含无人机竞速门的数据，包括边界框和单个角点标签
• 包含控制输入和电池电压数据

数据集内容

• 自主飞行数据存储在data/autonomous/，包含18个flight-.../文件夹
• 人工驾驶飞行数据存储在data/piloted/，包含12个flight-.../文件夹

数据格式

• 每个飞行记录提供两个CSV文件：
  • ..._cam_ts_sync.csv：按相机帧时间戳采样/插值
  • ..._500hz_freq_sync.csv：按500Hz频率采样/插值
• CSV文件包含的列包括：
  • elapsed_time, timestamp, img_filename, accel_[x/y/z], gyro_[x/y/z], thrust[0-3], channels_[roll/pitch/thrust/yaw], aux[1-4], vbat, drone_[x/y/z], drone_[roll/pitch/yaw], drone_velocity_linear_[x/y/z], drone_velocity_angular_[x/y/z], drone_residual, drone_rot[[0-8]], gate[1-4]_int_[x/y/z], gate[1-4]_int_[roll/pitch/yaw], gate[1-4]_int_residual, gate[1-4]_int_rot[[0-8]], gate[1-4]_marker[1-4]_[x/y/z]

图像格式

• 每个飞行记录包含两个文件夹：
  • camera_flight-.../：包含所有捕获的帧，格式为JPEG
  • labels_flight-.../：包含竞速门的边界框和角点标签，格式为TXT
• 标签格式：每个TXT文件包含的行格式为0 cx cy w h tlx tly tlv trx try trv brx bry brv blx bly blv，其中包含门的类别标签、边界框中心坐标、宽度、高度以及四个角点的坐标和可见性

可视化脚本

• 提供用于数据可视化和格式转换的脚本，位于scripts/目录下

附加资源

• 提供相机校准参数、轨迹生成脚本、标准ROS2包生成脚本等

许可证

• 数据集根据CC BY 4.0许可证发布

搜集汇总

数据集介绍

构建方式

Race Against the Machine数据集通过精心设计的实验，收集了高速飞行环境下的无人机飞行数据。该数据集涵盖了自主飞行和人工驾驶飞行，分别在多个轨迹上进行，确保了数据的多样性和全面性。数据采集过程中，使用了高分辨率和高频率的视觉、惯性和运动捕捉设备，确保了数据的精确性和实时性。此外，数据集还包括了无人机竞速门的边界框和角点标签，以及控制输入和电池电压等关键信息，为研究者提供了丰富的飞行状态和环境信息。

特点

该数据集的显著特点在于其高速度和高动态性的飞行数据，飞行速度超过21米/秒，展现了无人机在极端条件下的性能。数据集不仅包含了自主飞行和人工驾驶飞行的对比数据，还提供了详细的视觉、惯性和运动捕捉数据，以及竞速门的精确标注。此外，数据集还提供了控制输入和电池电压等关键参数，为研究者提供了全面的飞行状态分析基础。

使用方法

使用该数据集时，用户可以通过GitHub页面下载并安装相关依赖。数据集以CSV文件和图像文件的形式提供，用户可以通过提供的脚本进行数据可视化和格式转换。数据集还包含了ROS2的.sqlite3格式文件，用户可以通过ROS2环境进行进一步的分析和处理。此外，数据集还提供了无人机的开放设计文件和组装教程，便于研究者进行实验复现和扩展研究。

背景与挑战

背景概述

Race Against the Machine数据集由TII Racing Jetsetters团队于2024年发布，旨在为自主与人工驾驶的高速飞行提供一个全面注释的开源设计数据集。该数据集的核心研究问题聚焦于高速四旋翼飞行器的自主与人工驾驶性能对比，涵盖了高分辨率视觉、惯性及运动捕捉数据的采集。通过提供详细的飞行轨迹、控制输入及电池电压等信息，该数据集为无人机竞速领域的研究提供了宝贵的资源，推动了自主飞行技术的发展与优化。

当前挑战

Race Against the Machine数据集在构建过程中面临多项挑战。首先，高速与激进的飞行模式对数据采集的精度和实时性提出了极高要求，尤其是在高频数据同步与处理方面。其次，自主与人工驾驶的飞行轨迹差异显著，如何确保数据标注的准确性与一致性成为一大难题。此外，数据集的规模庞大，涉及多种传感器数据的整合与存储，增加了数据管理的复杂性。最后，该数据集旨在解决无人机竞速中的自主飞行与人工驾驶性能对比问题，如何在实际应用中有效利用这些数据进行算法优化与性能提升，仍需进一步探索。

常用场景

经典使用场景

Race Against the Machine数据集以其高速度和高频率的数据采集特性，成为无人机竞速领域中研究自主飞行与人类驾驶飞行性能对比的经典工具。该数据集通过提供高分辨率的视觉、惯性和运动捕捉数据，以及详细的控制输入和电池电压信息，使得研究者能够深入分析无人机在极端飞行条件下的动态行为。特别是，数据集中的无人机竞速门标注和轨迹数据，为开发和验证无人机导航算法提供了宝贵的资源。

解决学术问题

该数据集解决了无人机竞速领域中多个关键的学术研究问题，包括自主飞行与人类驾驶飞行性能的量化对比、高速飞行条件下的导航算法优化、以及无人机在极端条件下的稳定性和控制策略研究。通过提供详尽的飞行数据和标注，研究者能够更精确地评估和改进无人机控制系统，推动无人机技术在竞速和实际应用中的发展。

衍生相关工作

基于Race Against the Machine数据集，已衍生出多项经典工作，包括无人机自主导航算法的改进、高速飞行条件下的控制策略优化，以及无人机竞速赛事的规则和评分系统研究。这些工作不仅推动了无人机技术的发展，还为相关领域的研究提供了新的思路和方法。此外，数据集的高质量标注和开放设计理念，也激发了更多关于无人机系统设计和数据驱动研究的探索。