BIGVIDEO

BIGVIDEO是一个大规模的视频字幕翻译数据集，旨在促进多模态机器翻译的研究。该数据集包含15.5万个视频，总计450万对高质量的英汉平行句子和9981小时视频，数据来源于YouTube和西瓜视频平台。BIGVIDEO特别设计了两个测试集AMBIGUOUS和UNAMBIGUOUS，以验证视觉信息的必要性。AMBIGUOUS包含需要视频来消除歧义的句子，而UNAMBIGUOUS则包含文本内容足以进行翻译的句子。此数据集适用于研究视频在机器翻译中的作用，特别是在解决语义歧义方面的应用。BIGVIDEO is a large-scale video subtitle translation dataset developed to advance research in multimodal machine translation. It comprises 155,000 videos, totaling 4.5 million high-quality English-Chinese parallel sentence pairs and 9,981 hours of video content, sourced from YouTube and Xigua Video platforms. The BIGVIDEO dataset incorporates two specially designed test sets, namely AMBIGUOUS and UNAMBIGUOUS, to validate the necessity of visual information for machine translation. The AMBIGUOUS test set contains sentences that require video context to disambiguate their meanings, while the UNAMBIGUOUS test set includes sentences whose textual content alone is sufficient to complete the translation task. This dataset is suitable for research investigating the role of video in machine translation, particularly in resolving semantic ambiguity.

搜集汇总

数据集介绍

构建方式

在机器翻译领域，视觉信息的作用长期存在争议，现有数据集规模有限且文本语义充分，难以真实评估视频的辅助价值。为此，BIGVIDEO从YouTube与西瓜视频两大平台采集了15.5万条由创作者人工撰写的双语字幕视频，经过句子重分割与基于COMET分数的质量筛选，最终构建了包含450万句对及9981小时视频的大规模语料库。同时，语言专家精心标注了两个测试子集：AMBIGUOUS聚焦于源句存在歧义、需借助视频消歧的场景，UNAMBIGUOUS则确保文本自身语义完整，从而系统性地检验视觉信息的必要性。

特点

BIGVIDEO的显著特点在于其空前规模与高度多样性。其数据量是现有最大视频翻译数据集HOW2与VATEX的十倍以上，覆盖了YouTube全部15个视频类别，确保各领域均有充足样本。在语言层面，数据集的独特n元语法与词性标签数量远超同类资源，词汇丰富性显著提升，涵盖了更广泛的动作、物体与视觉场景。尤为关键的是，AMBIGUOUS子集包含745个精心标注的歧义术语，为评估模型在模糊语境下的翻译能力提供了精准的测试基准。

使用方法

BIGVIDEO专为多模态机器翻译研究设计，支持将视频帧特征（如ViT提取的2D特征或SlowFast提取的3D特征）与文本嵌入拼接后输入统一的跨模态编码器。研究者可采用对比学习目标函数，通过拉近正样本对（匹配的视频与文本）并推远负样本对，促进模态间的语义对齐。实验表明，该方法在BLEU、COMET及BLEURT指标上均优于纯文本基线，尤其在AMBIGUOUS子集上提升显著。数据集及代码已开源，可于GitHub仓库获取并用于非商业研究目的。

背景与挑战

背景概述

多模态机器翻译（MMT）旨在融合视觉与文本信息以提升翻译质量，然而现有数据集如HOW2和VATEX规模有限，且视觉信息的实际效用尚存争议。为突破这一瓶颈，厦门大学与字节跳动团队于2023年联合发布了BIGVIDEO数据集，该数据集包含15.5万段视频与450万对高质量英中平行字幕，总时长近万小时，规模较此前最大数据集提升一个数量级。其核心研究问题在于验证大规模视频字幕数据能否有效增强机器翻译对语义歧义的消解能力，并探索跨模态表征对齐方法。BIGVIDEO的提出为多模态翻译研究提供了更贴近真实场景的训练与评测基准，有望推动该领域从理论探讨迈向实际应用。

当前挑战

BIGVIDEO面临双重挑战。首先在领域问题上，现有MMT模型常因文本上下文自足而忽略视觉信息，导致歧义消解不足——如'chip'在体育与食品语境中含义迥异，需视频辅助判断。其次在构建过程中，数据清洗需克服字幕与视频弱对齐问题，通过COMET评分过滤低质量平行对；同时需设计AMBIGUOUS与UNAMBIGUOUS两类测试集，前者要求人工标注歧义词并确保视觉信息对翻译不可或缺，后者则需验证文本自足性。此外，跨模态对比学习需解决文本与视频表征的语义鸿沟，尤其在弱时序对齐下如何有效拉近正样本距离、推开负样本，仍是技术难点。

常用场景

经典使用场景

BIGVIDEO作为大规模视频字幕翻译数据集，其最经典的使用场景在于推动多模态机器翻译（MMT）研究。相较于HOW2和VATEX等现有数据集，BIGVIDEO规模扩大了一个数量级，包含450万句对和近一万小时的视频内容，为训练和评估视频辅助的神经机器翻译模型提供了丰富的弱对齐视觉-文本数据。研究者常利用该数据集探究视频信息如何提升翻译质量，特别是在字幕中蕴含语义歧义时，通过对比实验验证视觉上下文对消歧的贡献。

实际应用

在实际应用中，BIGVIDEO可赋能视频平台的字幕翻译系统，例如YouTube和西瓜视频的创作者工具。通过集成视频特征，模型能准确翻译涉及多义词（如“chip”译为“玉米片”而非“芯片”）或领域特定术语的对话，提升用户观看体验。此外，该数据集还可用于构建实时视频翻译服务，辅助跨语言内容传播，并在教育、娱乐等场景中减少因文本歧义导致的误译，促进全球化视频内容的无障碍理解。

衍生相关工作

BIGVIDEO衍生了多项经典工作，包括提出跨模态编码器结合对比学习目标的MMT框架，通过缩小文本与视频表示间的语义鸿沟来提升翻译性能。后续研究基于该数据集探索了2D（ViT）与3D（SlowFast）视觉特征的效果对比，以及预训练大规模文本数据（如WMT19）对视频辅助翻译的增益。此外，术语导向评估指标（如精确匹配和窗口重叠）的引入，为细粒度分析视觉信息在歧义消解中的作用提供了方法论基础，推动了MMT评估体系的完善。