Anonymous Video Analytics (AVA) dataset

AVA数据集是由伦敦玛丽女王大学智能感知中心创建的，旨在评估数字户外广告受众测量中的视觉任务，如受众定位和计数以及受众人口统计。该数据集包含16个视频，总时长超过78分钟，涵盖机场、商场、地铁站和行人区等多种场景。数据集详细标注了超过一百万个定位边界框，以及年龄、性别、注意力、姿势和遮挡等信息。AVA数据集的应用领域主要集中在评估和比较基于计算机视觉的受众测量解决方案的性能，以解决数字户外广告中的受众分析问题。

The AVA Dataset was developed by the Centre for Intelligent Sensing at Queen Mary University of London, aiming to evaluate visual tasks in digital out-of-home advertising audience measurement, including audience localization, counting, and audience demographic analysis. This dataset contains 16 videos with a total duration of over 78 minutes, covering various scenarios such as airports, shopping malls, subway stations and pedestrian zones. It has more than one million meticulously annotated localization bounding boxes, along with information including age, gender, attention level, posture and occlusion status. The main application fields of the AVA Dataset focus on evaluating and comparing the performance of computer vision-based audience measurement solutions to address audience analysis issues in digital out-of-home advertising.

搜集汇总

数据集介绍

构建方式

Anonymous Video Analytics (AVA) dataset 的构建方式基于多个真实场景的视频采集，涵盖了机场、商场、地铁站和行人区域等多种环境。数据集包含16个视频，总时长超过78分钟，分辨率为1920×1080，帧率为30fps。视频中包含了34名不同年龄、性别和种族的专业演员，模拟了真实场景中的观众行为。数据集的标注包括超过100万个定位边界框，涵盖了年龄、性别、注意力、姿态和遮挡等信息。标注过程由专业团队使用Intel的计算机视觉标注工具完成，确保了标注的准确性和一致性。

特点

AVA数据集的主要特点在于其丰富的标注信息和多样化的场景。数据集不仅包含了观众的位置和数量，还提供了详细的观众属性，如年龄、性别、注意力状态、姿态和遮挡情况。这些标注信息使得该数据集非常适合用于评估基于计算机视觉的观众分析算法。此外，数据集的多样性体现在不同时间、光照条件和场景设置下，能够有效测试算法在不同环境中的鲁棒性。

使用方法

AVA数据集可用于评估和比较多种计算机视觉任务的算法性能，包括观众定位、计数和人口统计学属性估计。使用者可以通过提供的基准测试工具，对算法进行在线评估，并根据数据集的标注信息计算算法的精度、召回率和F1分数等性能指标。数据集还提供了开源的基线算法和评估代码，方便研究者进行算法开发和比较。使用者可以根据具体需求，选择不同的硬件平台（如GPU和CPU）进行推理，并通过调整输入视频的帧率来优化算法的实时性能。

背景与挑战

背景概述

随着数字户外广告的迅速发展，匿名视频分析（Anonymous Video Analytics, AVA）成为评估广告受众规模和特征的重要工具。然而，现有的计算机视觉算法评估标准无法完全满足AVA的需求，尤其是在受众定位、计数和人口统计学特征估计方面。为此，Ricardo Sanchez-Matilla和Andrea Cavallaro领导的Queen Mary University of London的Centre for Intelligent Sensing团队于2020年提出了首个AVA基准测试，并发布了一个全新的数据集。该数据集包含多个地点的视频，涵盖了超过百万个定位边界框以及年龄、性别、注意力、姿势和遮挡等信息。AVA数据集的发布为评估和比较基于视觉的受众测量算法提供了标准化的工具，推动了数字户外广告领域的研究进展。

当前挑战

AVA数据集的构建和应用面临多重挑战。首先，受众定位和计数的准确性受到环境变化和光照条件的影响，算法需要具备鲁棒性以应对这些变化。其次，数据集的标注工作复杂，涉及大量的人工标注，尤其是对年龄、性别、注意力等属性的精确标注。此外，现有的计算机视觉基准测试数据集（如KITTI和COCO）缺乏与AVA相关的关键信息，如受众的注意力状态和人口统计学特征，这使得AVA算法的评估变得困难。最后，算法的实时性和计算效率也是一大挑战，尤其是在边缘计算系统上进行推理时，如何在保证准确性的同时实现高效的计算是一个亟待解决的问题。

常用场景

经典使用场景

Anonymous Video Analytics (AVA)数据集的经典使用场景主要集中在数字户外广告的受众测量领域。该数据集通过提供多地点采集的视频数据，支持对受众的定位、计数以及人口统计属性的估计。具体任务包括对观众的机会观看（Opportunity to See, OTS）进行量化，并估计观众的年龄和性别。这些任务通过计算机视觉算法实现，能够在不侵犯隐私的前提下，实时分析广告受众的行为和特征。

解决学术问题

AVA数据集解决了数字户外广告领域中缺乏统一评估标准的问题。传统的计算机视觉基准测试（如检测、跟踪和重识别）无法完全适用于户外广告场景，因为这些场景需要考虑观众的注意力、人口统计信息等特定属性。AVA数据集通过提供包含年龄、性别、注意力、姿态等多维度标注的数据，为研究者提供了一个标准化的评估平台，推动了计算机视觉在户外广告分析中的应用研究。

衍生相关工作

AVA数据集的发布催生了一系列相关的研究工作。首先，基于该数据集的算法研究集中在提升观众定位、计数和人口统计属性估计的准确性。其次，研究者们探索了如何在边缘计算环境中实现高效的实时分析，确保算法的低延迟和高性能。此外，AVA数据集还激发了对观众注意力建模的研究，进一步提升了广告效果评估的精确度。这些衍生工作不仅推动了计算机视觉技术的发展，也为户外广告行业提供了新的技术支持。