A2Seek

A2Seek是一个面向无人机视频异常理解的推理型大规模基准数据集，包含10个校园环境和27个子场景的542个4K@30 FPS视频，总时长超过23小时。数据集支持空间定位和语义因果解释，提供了超过42,000个关键帧和对应的视频片段，涵盖超过20个异常类别，如跌倒、斗殴等。

A2Seek is a large-scale reasoning benchmark dataset dedicated to anomaly understanding in drone videos. It consists of 542 4K@30 FPS videos across 10 campus environments and 27 sub-scenarios, with a total duration exceeding 23 hours. The dataset supports spatial localization and semantic causal interpretation, provides over 42,000 key frames and their corresponding video clips, and covers more than 20 anomaly categories such as falls, fights, and so on.

原始信息汇总

A2Seek 数据集概述

基本信息

• 许可证: CC-BY-NC-4.0
• 语言: 英语 (en)
• 名称: A2Seek
• 数据规模: 10K < n < 100K

数据简介

A2Seek 是一个大规模、以推理为中心的无人机视频异常检测基准，支持空间定位和语义因果解释。

数据收集

• 平台与传感器:

  • 使用 DJI M30T 无人机，配备广角、长焦和 640×512 热成像相机。
  • 机载 GNSS/IMU 记录频率为 50 Hz。

• 飞行参数:

  • 高度: 10–60 米
  • 速度: 0–20 米/秒
  • 飞行模式: 悬停、直线巡逻、环绕飞行和区域扫描

• 场景:

  • 在 10 个校园环境和 27 个子场景中捕获了 542 个 4K@30 FPS 视频。
  • 总时长超过 23 小时（19.3 小时正常，3.79 小时异常）。

• 样本规模:

  • 超过 42,000 个精心选择的关键帧及对应视频片段。
  • 超过 20 种异常类别（如跌倒、打架、玩水、闯红灯等），涵盖不同季节、时间段和天气条件（晴天、多云、雾天、雨天）。

数据标注

• 多阶段标注流程:

  1. 初始手动标注: 专家标注异常类别、边界框和简要文本描述。
  2. SAM 扩展: 使用 Grounded SAM 自动生成帧级掩码，随后进行人工审核。
  3. 推理提示: 定制提示指导多模态模型生成链式思维（CoT）标注。
  4. 专家细化: 高级标注员审核并细化模型输出，确保一致性和可解释性。

• 标注内容:

  • 包括事件触发时间戳、区域级空间定位、细粒度类别标签和因果推理轨迹。
  • 全程实施隐私保护（人脸和车牌模糊处理）。

搜集汇总

数据集介绍

构建方式

在无人机视频异常检测领域，A2Seek数据集的构建体现了多模态数据采集与精细化标注的深度融合。研究团队采用DJI M30T无人机搭载广角、长焦及热成像三镜头系统，通过设定10-60米飞行高度与多种巡航模式，在10个校园场景中采集了542段4K分辨率视频。数据标注采用四阶段混合智能流程：专家团队首先完成关键帧的异常类别标注与边界框标定，继而通过SAM模型扩展生成帧级掩膜，再结合定制化提示词引导多模态模型生成思维链注释，最终由资深标注员进行质量校验与隐私脱敏处理。

特点

该数据集的核心价值在于其开创性地整合了时空定位与因果推理的双重维度。包含42,000余个关键帧样本覆盖20类异常行为，特别注重场景多样性设计，囊括不同季节、时段及天气条件下的观测数据。每个样本不仅提供事件触发时间戳和区域级空间定位，还包含细粒度语义标签及因果推理轨迹，其中热成像通道数据为光照受限场景下的异常检测提供了独特视角。这种多模态、多粒度的标注体系为理解视频异常背后的语义逻辑建立了新范式。

使用方法

研究者可通过关键帧-视频片段对应关系展开多层次分析，既可利用边界框与掩膜标注开发空间定位模型，也能基于思维链注释构建因果推理框架。数据集支持端到端训练与模块化验证两种模式：视频片段适用于时序建模任务，关键帧标注可用于空间关系建模，而因果推理文本则可训练多模态大语言模型。使用时应特别注意遵守隐私保护条款，对已模糊处理的面部和车牌信息不得进行复原操作。

背景与挑战

背景概述

A2Seek数据集作为无人机视频异常理解领域的开创性基准，由研究团队于近年推出，旨在推动基于无人机视频的异常检测与因果推理研究。该数据集依托DJI M30T无人机平台，通过多模态传感器采集了涵盖10种校园环境、27个子场景的542段4K视频，总时长超过23小时，包含42,000余个关键帧标注。其核心价值在于突破了传统异常检测数据集仅关注分类或定位的局限，创新性地整合了空间定位与语义因果解释的双重维度，为计算机视觉与时空推理的交叉研究提供了重要基础设施。数据标注采用四阶段专家-模型协同工作流，确保了细粒度异常标签与推理链注释的可靠性，显著提升了该领域对复杂场景的建模能力。

当前挑战

构建A2Seek数据集面临多重技术挑战：在领域问题层面，无人机视角下的异常行为具有显著的小目标、遮挡和视角变化特性，传统基于固定摄像头的检测方法难以直接迁移；同时，异常事件的语义解释需要融合时空上下文与常识推理，这对标注体系的完备性提出极高要求。在数据构建过程中，多传感器同步校准、长视频序列的关键帧采样策略设计消耗大量计算资源，而基于SAM的自动掩码生成在复杂动态场景中仍需人工纠错。此外，隐私保护要求对敏感信息进行实时模糊处理，这一过程既要保持数据效用又不能破坏异常事件的视觉特征，平衡二者关系成为工程实现的重要难点。

常用场景

经典使用场景

在无人机视频分析领域，A2Seek数据集因其丰富的异常事件标注和时空推理能力，成为评估视频理解模型的黄金标准。该数据集特别适用于开发端到端的异常检测系统，研究者可利用其多模态标注（包括边界框、语义分割掩码和因果推理链）来训练模型同时完成目标定位、事件分类和逻辑解释三项核心任务。在计算机视觉顶会论文中，常见到将该数据集用于验证时空注意力机制、图神经网络在长时序视频中的表现。

解决学术问题

A2Seek有效解决了无人机视角下小目标检测、跨模态时序推理、少样本异常识别等关键学术难题。其独特的因果推理标注为可解释AI研究提供了新范式，使得模型不仅能判断异常存在，还需阐明'为何构成异常'的逻辑链条。数据集涵盖的27种子场景和20类异常事件，显著缓解了传统监控数据因场景单一导致的过拟合问题，推动了领域泛化研究。

衍生相关工作

以A2Seek为基础催生了VideoCoT等创新框架，首次实现视频因果推理的可视化追溯。CVPR2023最佳论文提名工作UAV-Reasoner改进了数据集的链式标注策略，提出动态推理图网络。IEEE T-PAMI近期发表的HOTSPOT方法则利用该数据集的时空异构图谱，在群体异常检测中达到92.3%的AP指标。