How2

在这个存储库中，我们介绍了 How2，这是一个多模式的教学视频集合，带有英文字幕和众包葡萄牙语翻译。我们还提出了用于机器翻译、自动语音识别、口语翻译和多模态摘要的集成序列到序列基线。通过为几个多模态自然语言任务提供可用的数据和代码，我们希望激发对这些和类似挑战的更多研究，以更深入地了解语言处理中的多模态。

In this repository, we introduce How2, a multimodal collection of instructional videos paired with English subtitles and crowdsourced Portuguese translations. We additionally propose integrated sequence-to-sequence baselines for machine translation, automatic speech recognition, spoken language translation, and multimodal summarization. By making our data and code available for multiple multimodal natural language tasks, we aim to inspire further research into these and related challenges to gain deeper insights into multimodal aspects of language processing.

搜集汇总

背景与挑战

背景概述

How2是一个大规模多模态数据集，包含教学视频、英文字幕及葡萄牙语翻译，旨在支持机器翻译、自动语音识别等多模态自然语言处理任务。该数据集由多个学术机构于2018年发布，相关论文和资源可公开获取。