Vlogs

我们专注于生活方式vlog的类型，并构建一个新的数据集，由1,268迷你片段和14,769动作组成，其中4,340被标记为可见。我们描述和评估了几个基于文本和基于视频的基线，并引入了一种多模态神经模型，该模型利用了视觉和语言信息以及输入数据中可用的其他信息。我们证明，多模态模型一次胜过使用一种模态。

We focus on the lifestyle vlog genre and construct a novel dataset consisting of 1,268 mini-clips and 14,769 action instances, 4,340 of which are labeled as visible. We describe and evaluate several text-based and video-based baselines, and propose a multimodal neural model that leverages visual, linguistic information and other available information from the input data. We demonstrate that the multimodal model outperforms single-modal models.

搜集汇总

背景与挑战

背景概述

Vlogs是一个专注于生活方式vlog的视频数据集，包含1,268个迷你片段和14,769个动作，其中4,340个被标记为可见。该数据集由密歇根大学和普林斯顿大学于2019年发布，适用于视频CV和3D人体动作识别等研究。