VISA

VISA数据集是由京都大学创建的一个大规模视觉场景感知机器翻译数据集，包含40,000个日英平行句对及其对应的视频片段。该数据集主要来源于电影和电视剧的模糊字幕，具有多义性和省略性两种模糊类型。数据集的创建过程包括预选和众包两个步骤，确保字幕的模糊性。VISA数据集旨在推动多模态机器翻译研究，特别是视频引导的机器翻译，通过视觉信息解决语言模糊性问题。

The VISA dataset is a large-scale visual scene-aware machine translation dataset created by Kyoto University, consisting of 40,000 Japanese-English parallel sentence pairs and their corresponding video clips. This dataset is mainly sourced from ambiguous subtitles of movies and TV dramas, and features two types of ambiguity: polysemy and ellipsis. Its creation process includes two steps, pre-selection and crowdsourcing, to ensure the ambiguity of the subtitles. The VISA dataset aims to advance multimodal machine translation research, especially video-guided machine translation, by leveraging visual information to resolve linguistic ambiguities.

搜集汇总

背景与挑战

背景概述

VISA数据集是一个由京都大学创建的大规模多模态机器翻译数据集，包含40,000个日英平行句对及对应视频片段，数据来源于电影和电视剧的模糊字幕，具有多义性和省略性两种模糊类型。该数据集通过预选和众包过程确保字幕的模糊性，旨在推动视频引导的机器翻译研究，利用视觉信息解决语言中的模糊问题。