ViTT (Video Timeline Tags)

ViTT 数据集由人工制作的 8,169 个视频的片段级注释组成。其中，5840 个视频被注释一次，其余视频被注释两次或更多。共发布了 12461 组注解。数据集中的视频来自 Youtube-8M 数据集。
注释具有以下格式：
{
"id": "FmTp",
“注释”：[
{
“时间戳”：260，
“标签”：“开幕”
},
{
“时间戳”：16000，
"tag": "展示技巧"
},
{
“时间戳”：23990，
"tag": "显示脚部定位"
},
{
“时间戳”：55530，
"tag": "演示跨界"
},
{
“时间戳”：114100，
“标签”：“关闭”
}
]
}

The ViTT dataset consists of segment-level annotations for 8,169 manually curated videos. Of these, 5,840 videos are annotated once, while the remaining videos are annotated two or more times. A total of 12,461 annotation sets have been released. The videos in the dataset are sourced from the Youtube-8M dataset.

The annotations follow the format:
{
"id": "FmTp",
"annotations": [
{
"timestamp": 260,
"label": "opening"
},
{
"timestamp": 16000,
"label": "demonstration technique"
},
{
"timestamp": 23990,
"label": "show foot positioning"
},
{
"timestamp": 55530,
"label": "demonstrate crossover"
},
{
"timestamp": 114100,
"label": "closing"
}
]
}

搜集汇总

背景与挑战

背景概述

ViTT数据集是一个用于视频理解任务的标注数据集，包含8,169个来自YouTube-8M的视频，提供了12,461组片段级注释，每个注释由时间戳和标签组成，用于描述视频中的具体事件或行为。该数据集由Google、Mila和蒙特利尔大学于2020年发布，主要用于支持密集视频描述等多媒体预训练研究。