UAV-GESTURE

UAV-GESTURE数据集由南澳大学工程学院创建，专注于无人机控制和手势识别。该数据集包含119个高清视频，总计37151帧，记录了13种适合基本无人机导航和命令的手势。数据集在户外环境中录制，旨在通过无人机视觉传感器和操作的简单性，有效利用手势信号。创建过程中，选择了从一般飞机处理和直升机处理信号中提取的手势，并由10名参与者在两个不同的日子里进行录制。该数据集适用于搜索和救援、态势感知、监视和一般动作识别等研究领域，旨在解决无人机操作中的手势控制问题。UAV-GESTURE Dataset was developed by the School of Engineering, University of South Australia, focusing on unmanned aerial vehicle (UAV) control and gesture recognition. This dataset contains 119 high-definition videos, totaling 37,151 frames, and records 13 types of gestures suitable for basic UAV navigation and commands. Recorded in outdoor environments, the dataset aims to effectively utilize gesture signals by leveraging the simplicity of UAV visual sensors and operations. During its creation, gestures were selected from signals extracted from general aircraft and helicopter handling processes, and the data was collected by 10 participants across two separate days. This dataset is applicable to research fields including search and rescue, situational awareness, surveillance and general action recognition, and it aims to solve the gesture control problem in UAV operations.

搜集汇总

数据集介绍

构建方式

在无人机手势识别领域，现有数据集多局限于室内环境或静态动作，难以满足户外动态场景的研究需求。UAV-GESTURE数据集的构建采用系统性采集策略，通过一架低空慢速飞行的旋翼无人机（3DR Solo）搭载高清GoPro Hero 4 Black相机，在麦田中的开阔道路上录制视频。数据采集过程遵循实际任务中的操作准则，无人机以悬停方式拍摄10名参与者执行的13种手势，这些手势源自通用飞机与直升机处理信号，涵盖静态与动态类型。录制过程持续两天，共生成119段高清视频（1920×1080分辨率，25帧/秒），总计37151帧，并引入自然风扰导致的相机轻微漂移，以增强数据的真实性与挑战性。

特点

该数据集的核心特点在于其户外场景的实用性与数据多样性。所有视频均以高清格式录制，确保了人体姿态细节的清晰度，有效缓解了低分辨率与运动模糊等传统空中数据集缺陷。手势选择兼顾辨识度与实用性，包含“悬停”、“降落”、“向左移动”等基本导航指令，同时混合静态与动态手势以拓展应用范围。数据集中蕴含丰富的自然变异，包括参与者体型、手势相位、相机运动及背景差异，甚至存在肤色与背景相近的挑战性场景。此外，每帧均标注了13个人体关节点、手势类别及边界框，为姿态估计、动作识别等多领域研究提供结构化支持。

使用方法

UAV-GESTURE数据集适用于手势识别、人机交互及自主系统控制等研究方向。研究者可基于其标注信息开发或评估算法，例如利用关节点数据训练姿态估计模型，或结合手势类别实现无人机指令识别。数据已通过姿态卷积神经网络（P-CNN）进行基准测试，在聚合静态与动态特征后取得91.9%的识别准确率，为后续研究提供性能参照。使用时可遵循原始论文中的三划分评估协议，或拓展至时序分析、跨域适应等任务。数据集公开于GitHub平台，包含视频文件与完整标注，便于集成至现有机器学习流程中。

背景与挑战

背景概述

无人机视觉感知领域的发展，对户外环境下的手势识别提出了迫切需求。UAV-GESTURE数据集由南澳大利亚大学的Asanka G Perera、Yee Wei Law与Javaan Chahl等人于2019年创建，旨在填补无人机控制手势识别领域户外公开数据集的空白。该数据集聚焦于通过视觉传感器实现无人机自主导航的核心研究问题，收录了13种基于航空器与直升机操控信号的动态与静态手势，包含119段高清视频、共计37151帧，并提供了详细的人体关节点与手势类别标注。其高质量的数据构建为无人机人机交互、搜救行动与态势感知等应用提供了关键支撑，推动了基于视觉的无人机自主控制研究。

当前挑战

在无人机手势识别领域，主要挑战在于户外复杂环境下人体动作的精准捕捉与解析。具体而言，无人机视角常伴随剧烈透视畸变、低分辨率、运动模糊及相机抖动等问题，导致人体关节点提取困难，传统动作识别算法难以直接迁移。在数据集构建过程中，研究团队需克服自然光照变化、背景干扰、手势执行者非专业性带来的动作差异，以及无人机悬停时的随机漂移现象。这些因素共同增加了数据采集与标注的复杂度，但也使得数据集更贴近真实场景，为算法鲁棒性评估提供了严谨基准。

常用场景

经典使用场景

在无人机视觉交互研究领域，UAV-GESTURE数据集为基于姿态的空中手势识别提供了关键基准。该数据集通过低空悬停无人机采集的13类导航指令手势视频，精准模拟了户外场景下人体与飞行器的自然交互过程。其高分辨率视频序列与详细的人体关节点标注，使得研究者能够深入探索动态视角下的手势时空特征建模，为无人机自主响应人类指令的算法开发奠定了数据基础。

衍生相关工作

基于该数据集衍生的研究推动了姿态卷积神经网络在动态场景下的优化发展。研究者通过改进P-CNN特征提取架构，提升了无人机视角下人体关节轨迹的建模精度。相关成果进一步启发了多模态融合方法的研究，将手势识别与语音指令、环境感知相结合，形成了更完善的无人机交互系统设计范式，相关算法框架已被拓展至无人地面车辆控制等更广泛的人机协作领域。

数据集最近研究

最新研究方向

随着无人机技术在搜救、监控等领域的广泛应用，基于视觉的人机交互成为研究热点。UAV-GESTURE数据集作为首个户外无人机手势指令数据集，填补了动态空中视角下人体姿态识别数据的空白。当前研究聚焦于利用姿态估计与时空建模技术，提升复杂环境下手势识别的鲁棒性与实时性。该数据集推动了基于深度学习的手势识别算法在自主无人机控制、情境感知等前沿方向的发展，为实际应用场景中人机自然交互提供了关键数据支撑。

相关研究论文

• UAV-GESTURE: A Dataset for UAV Control and Gesture Recognition

  南澳大学工程学院 · 2019年