ActivityNet Entities

ActivityNet-Entities 基于视频描述数据集 ActivityNet Captions 并使用 158k 边界框注释对其进行扩充，每个边界框注释都以名词短语 (NP) 为基础。在这个挑战中，我们将使用预处理的基于对象的注释，将单个对象词链接到视频中的相应区域。这给出了 432 个唯一的对象类别。
原始数据集由 10k/2.5k/2.5k 视频组成，用于训练/验证/测试。每个拆分有 35k/8.6k/8.5k 事件片段和句子描述以及 105k/26.5k/26.1k 边界框注释。我们进一步收集了一个新的隐藏测试集，其中视频描述不公开。这使我们能够可靠地评估视频描述质量和对象定位质量。

ActivityNet-Entities is based on the video captioning dataset ActivityNet Captions, and is augmented with 158k bounding box annotations, each grounded in noun phrases (NP). In this challenge, we utilize preprocessed object-based annotations to link individual object words to their corresponding regions within videos, resulting in 432 unique object categories. The original dataset comprises 10k/2.5k/2.5k videos for training, validation, and testing splits. Each split contains 35k/8.6k/8.5k event segments, sentence descriptions, and 105k/26.5k/26.1k bounding box annotations. We further collected a new hidden test set, where the video descriptions are not publicly available. This allows us to reliably evaluate both video captioning quality and object localization quality.

搜集汇总

背景与挑战

背景概述

ActivityNet Entities是基于ActivityNet Captions视频描述数据集扩展而来的，通过158k边界框注释增强了对象定位能力，覆盖432个唯一对象类别。该数据集包含训练、验证和测试视频，分别对应大量事件片段、句子描述和边界框注释，并引入隐藏测试集以可靠评估视频描述和对象定位质量。