DiDeMoSV

DiDeMoSV. DiDeMo是一个视频字幕数据集，其中包含10,000短片，其中包含40,000多个文本描述，这些文本描述在时间上与视频进行了本地化。每个剪辑都是从基于Flickr的YFCC100M数据集中随机采样的。这导致视频覆盖了大量的真实场景，包含许多不同的设置、动作、实体等。数据集分别包含训练、验证和测试中的11550/2707/3378个样本，每个样本包含三个连续的帧。与现有的故事可视化数据集相比，该数据集对故事延续模型提出了挑战，以生成多样化的输入，涵盖了更多的故事元素。为了做到这一点，模型必须最大限度地利用初始场景输入，并且需要合并额外的一般视觉知识，无论这是通过转移学习还是额外的数据来完成的。