VATEX (Video And TEXt)

“VATEX 是多语言、大型、语言复杂且在视频和自然语言描述方面多样化的数据集。它有两个视频和语言研究任务：（1）多语言视频字幕，旨在描述视频具有紧凑的统一字幕模型的各种语言，以及（2）视频引导机器翻译，使用视频信息作为附加的时空上下文将源语言描述翻译成目标语言。”

VATEX is a multilingual, large-scale, linguistically complex, and diverse dataset dedicated to video and natural language description research. It includes two video-language research tasks: (1) Multilingual Video Captioning, which aims to generate compact and unified captions in various languages for given videos; (2) Video-Guided Machine Translation, which translates source language descriptions into target languages by leveraging video information as additional spatiotemporal context.

搜集汇总

背景与挑战

背景概述

VATEX是一个多语言、大规模的视频和文本数据集，主要用于视频字幕生成和视频引导机器翻译任务。该数据集由加州大学和字节跳动联合发布，包含41.3k个视频，4.3GB大小，22.2k个样本，267个标签，采用CC BY 4.0许可。