M3LS

M3LS数据集是目前最大的多语言多模态摘要数据集，包含超过110万条文档-图像对，每对均配有专业标注的多模态摘要。数据集源自BBC新闻过去十年的文章，覆盖20种语言，旨在实现跨五种语言根的多样性。该数据集不仅支持13种语言的最大规模摘要任务，还包含2种语言的跨语言摘要数据。M3LS数据集的应用领域广泛，包括自动摘要、文章标题生成、关键词提取、图像标题生成等，旨在推动多模态和多语言研究的发展。The M3LS dataset is currently the largest multilingual multimodal summarization dataset, containing over 1.1 million document-image pairs, each paired with professionally annotated multimodal summaries. Derived from BBC News articles spanning the past decade and covering 20 languages, the dataset is designed to ensure diversity across five language families. It not only supports large-scale summarization tasks in 13 languages but also includes cross-lingual summarization data for two additional languages. The M3LS dataset has broad application scenarios including automatic summarization, article title generation, keyword extraction, image captioning and more, aiming to advance the development of multimodal and multilingual research.

搜集汇总

数据集介绍

构建方式

M3LS数据集的构建依托于英国广播公司（BBC）在过去十余年间发布的新闻文章，覆盖20种语言，囊括超过110万条文档-图像对。研究团队通过解析BBC各语言新闻的Twitter页面获取文章链接，并利用Scrapy框架进行大规模爬取，同时递归提取网页中的超链接以扩展数据量。每条数据包含文本正文、标题、日期、关键词、相关文章链接以及带有标题的图像，并以JSON格式结构化存储。为确保质量，团队对多语言的摘要进行了人工验证，评估其信息覆盖度与准确性。此外，跨语言子集通过日本语文章中的英文链接自动构建，并辅以人工校验以保证内容一致性。最终数据集按80:10:10或90:5:5的比例划分为训练、测试与验证集。

使用方法

M3LS数据集适用于多模态多语言摘要任务的训练与评估，支持单语与跨语言两种设定。研究者可将文档文本与对应图像作为输入，生成包含文本与图像的多模态摘要。数据集提供了专用分词与句子分割工具包，兼容多种语言的分词需求，并集成了NLTK与spaCy的停用词库。基线实验涵盖了LEAD-3、RANDOM、CENTROID、TextRank等抽取式方法，以及MSMO、MT5、PEGASUS、BART、T5等生成式模型，评估指标包括ROUGE-1/2/L与BERTScore。用户可通过公开的GitHub仓库获取数据集、解析器及使用教程，并应遵守BBC新闻的使用条款。

背景与挑战

背景概述

多模态与多语言信息处理是自然语言处理领域的前沿方向，融合视觉与文本模态的摘要生成技术能够显著提升信息表达的丰富性与用户满意度。然而，现有数据集大多局限于单一语言或单一模态，难以支撑跨语言、跨模态的联合建模研究。在此背景下，M3LS数据集于2023年由印度理工学院巴特那分校、IISER加尔各答等机构的研究人员构建，旨在填补多语言多模态摘要领域的空白。该数据集源自BBC新闻，涵盖20种语言、超过110万个文档-图像对，并包含专业标注的多模态摘要，是当前规模最大的多语言多模态摘要数据集，为13种语言提供了最大的摘要数据资源，同时首次引入了日英跨语言多模态摘要对。其发布推动了低资源语言及多模态摘要技术的探索，对信息检索、文本生成和机器翻译等下游任务具有深远影响。

当前挑战

M3LS数据集面临的挑战主要体现在两个层面。首先，在领域问题层面，多语言多模态摘要任务需同时处理文本与图像的异构信息，并跨越20种语言（涵盖5个语系），现有模型在低资源语言上表现不佳，如尼泊尔语和普什图语的ROUGE分数几乎为零；此外，跨语言摘要的语义对齐与模态融合机制尚不成熟，导致抽象式方法难以生成高质量摘要。其次，在数据集构建过程中，数据来源BBC新闻在不同语言上的文章数量分布极不均衡（英语达37.6万篇，而僧伽罗语仅1万篇），导致语言间数据偏差；同时，图像与文本的配对质量参差不齐，部分语言缺乏图像描述（如马拉地语），且多模态输出的标注尚未实现，限制了多模态摘要的端到端评估。

常用场景

经典使用场景

在自然语言处理与计算机视觉交叉融合的前沿领域，多语言多模态摘要任务逐渐成为研究热点。M3LS数据集作为当前规模最大的多语言多模态摘要资源，涵盖了跨越20种语言的逾百万篇新闻文章及其配图，并附有专业标注的多模态摘要。该数据集最经典的使用场景是训练与评估能够同时处理文本与图像信息、并能跨语言生成摘要的深度学习模型，例如在英文、中文、印地语等语种上开展单语或跨语言的多模态摘要生成实验，为模型提供丰富的语言与视觉多样性。

解决学术问题

M3LS数据集的提出有效解决了多语言多模态摘要研究中长期缺乏大规模高质量标注数据的瓶颈问题。此前，多模态摘要数据集多局限于单一语言（如英文），而多语言摘要数据集则普遍缺失视觉模态，难以支撑跨模态与跨语言的联合建模。M3LS填补了这一空白，使得研究者能够系统性地探索视觉信息如何辅助不同语种的摘要生成，并揭示语言根系的多样性（涵盖印欧、汉藏、达罗毗荼等五大语系）对模型泛化能力的影响。其发布推动了低资源语言（如尼泊尔语、旁遮普语）的摘要技术发展，为构建更公平、包容的多语言人工智能系统奠定了数据基础。

实际应用

在实际应用层面，M3LS数据集为多语言新闻聚合平台、跨境信息监控系统以及智能内容推荐引擎提供了关键技术支撑。例如，国际新闻机构可利用基于M3LS训练的模型，将同一事件的多语言新闻报道（附有图片）自动生成为简洁的多模态摘要，从而降低人工翻译与编辑成本。此外，在跨语言舆情分析中，该系统能够快速提炼非母语新闻的核心内容并匹配相关图像，辅助决策者高效获取关键信息。该数据集还助力开发面向低资源语言用户的移动端摘要工具，弥合数字鸿沟。

数据集最近研究

最新研究方向

在跨语言与多模态信息处理领域，M3LS数据集的出现为多语言多模态摘要生成任务开辟了新的研究前沿。该数据集依托英国广播公司（BBC）跨越十余年的新闻语料，覆盖20种语言、逾百万文档-图像对，并首次引入跨语言多模态摘要（如日英双向），显著拓展了低资源语言在自动摘要、图像描述、多模态嵌入等方向的研究边界。当前，研究者正聚焦于利用M3LS推动统一的多语言多模态模型开发，探索如何通过视觉与文本的协同表征提升摘要质量，尤其针对形态丰富语言和跨语言场景。这一工作不仅回应了全球语言多样性带来的挑战，也为打破语种壁垒、实现更包容的信息获取技术提供了关键数据支撑，有望催生新一代多模态语言理解系统。

相关研究论文

• Large Scale Multi-Lingual Multi-Modal Summarization Dataset

  印度理工学院巴特那分校 · 2023年