bltlab/lr-sum

LR-Sum是一个专注于较少资源语言的自动摘要数据集，包含39种语言的人类撰写的摘要。数据集基于Multilingual Open Text语料库，源数据来自Voice of America网站的公共领域新闻稿。数据集采用CC BY 4.0许可，旨在促进较少资源语言的自动摘要研究。数据集结构包括文章的唯一ID、URL、标题、摘要和全文。数据集的创建目的是为了支持较少资源语言的自动摘要研究，源数据由Voice of America提供，摘要是从新闻文章的元数据中提取的。数据集的使用建议包括用于训练文本生成模型和自动摘要的自动评估，但也指出了数据集仅限于新闻稿文本，可能不适用于领域外的摘要任务。LR-Sum is an automatic summarization dataset dedicated to low-resource languages, containing human-written summaries across 39 distinct languages. It is built upon the Multilingual Open Text corpus, with its source data derived from public-domain press releases hosted on the Voice of America website. The dataset is released under the CC BY 4.0 license, with the core objective of advancing automatic summarization research for low-resource languages. Structurally, the dataset includes fields such as unique article IDs, URLs, titles, summaries, and full article texts. The dataset was developed to support research on automatic summarization for low-resource languages: its source materials are provided by Voice of America, and its summaries are extracted from the metadata of the corresponding news articles. Recommended use cases include training text generation models and conducting automatic evaluation for automatic summarization tasks. It is also emphasized that the dataset is limited to press release texts and may not be suitable for out-of-domain summarization tasks.

原始信息汇总

数据集卡片 for LR-Sum

数据集详情

数据集描述

LR-Sum 是一个自动摘要数据集，专注于较少资源语言，采用 CC-BY 4.0 许可证。该数据集旨在促进较少资源语言的自动摘要研究。LR-Sum 包含 39 种语言的人工编写摘要，其中许多是较少资源语言。数据来源于 Multilingual Open Text 语料库，源数据是 Voice of America (VOA) 网站收集的公共领域新闻稿。

• 语言(NLP): 阿尔巴尼亚语, 阿姆哈拉语, 亚美尼亚语, 阿塞拜疆语, 孟加拉语, 波斯尼亚语, 缅甸语, 中文, 英语, 法语, 格鲁吉亚语, 希腊语, 海地克里奥尔语, 豪萨语, 印度尼西亚语, 高棉语, 基尼亚卢旺达语, 韩语, 库尔德语, 老挝语, 马其顿语, 北恩德贝勒语, 普什图语, 波斯语, 葡萄牙语, 俄语, 塞尔维亚语, 绍纳语, 索马里语, 西班牙语, 斯瓦希里语, 泰语, 藏语, 提格里尼亚语, 土耳其语, 乌克兰语, 乌尔都语, 乌兹别克语, 越南语
• 许可证: CC-BY 4.0

数据集结构

每个字段是一个字符串: json { "id": "文章唯一ID", "url": "新闻文章的URL", "title": "新闻文章的标题", "summary": "文章的摘要", "text": "新闻文章的全文（不包括标题）" }

数据集创建

数据收集和处理

数据来源于 Voice of America (VOA)，详细的数据收集和处理过程参见相关论文。

注释过程

摘要来源于新闻文章的元数据，详细注释过程参见相关论文。

个人和敏感信息

敏感个人信息仅限于已在 VOA 新闻文章中发布的信息。

偏见、风险和限制

数据集内容为新闻稿，具体偏见、风险和限制参见 VOA 的使命和价值观。

推荐

尽管数据集采用宽松许可证，主要面向研究发布。建议用户在使用该数据集训练的模型投入生产环境前进行彻底测试和评估。

引用

如使用此数据集，请使用以下 BibTeX 引用:

bibtex @inproceedings{palen-michel-lignos-2023-lr, title = "{LR}-Sum: Summarization for Less-Resourced Languages", author = "Palen-Michel, Chester and Lignos, Constantine", editor = "Rogers, Anna and Boyd-Graber, Jordan and Okazaki, Naoaki", booktitle = "Findings of the Association for Computational Linguistics: ACL 2023", month = jul, year = "2023", address = "Toronto, Canada", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2023.findings-acl.427", doi = "10.18653/v1/2023.findings-acl.427", pages = "6829--6844", abstract = "We introduce LR-Sum, a new permissively-licensed dataset created with the goal of enabling further research in automatic summarization for less-resourced languages.LR-Sum contains human-written summaries for 40 languages, many of which are less-resourced. We describe our process for extracting and filtering the dataset from the Multilingual Open Text corpus (Palen-Michel et al., 2022).The source data is public domain newswire collected from from Voice of America websites, and LR-Sum is released under a Creative Commons license (CC BY 4.0), making it one of the most openly-licensed multilingual summarization datasets. We describe abstractive and extractive summarization experiments to establish baselines and discuss the limitations of this dataset.", }

搜集汇总

数据集介绍

构建方式

LR-Sum数据集由bltlab团队构建，旨在为低资源语言提供高质量的文本摘要资源。该数据集从多语言新闻网站和公开语料库中收集原始文本，涵盖40种语言，包括阿姆哈拉语、阿塞拜疆语、孟加拉语、藏语、波斯尼亚语、库尔德语、中文、希腊语、英语、波斯语、法语、海地克里奥尔语、豪萨语、亚美尼亚语、印尼语、格鲁吉亚语、高棉语、卢旺达语、韩语、老挝语、马其顿语、缅甸语、北恩德贝莱语、葡萄牙语、达里语、普什图语、俄语、绍纳语、索马里语、西班牙语、阿尔巴尼亚语、塞尔维亚语、斯瓦希里语、泰语、提格雷尼亚语、土耳其语、乌克兰语、乌尔都语、乌兹别克语和越南语。每个语言配置包含id、url、title、summary和text五个字段，其中summary为人工撰写的摘要，text为对应新闻正文。数据集按语言划分为独立的子集，部分语言提供训练、验证和测试三部分，部分仅包含测试集，整体规模介于10万至100万样本之间。

特点

LR-Sum数据集的核心特点在于其多语言覆盖的广度与对低资源语言的侧重。数据集中包含多种在自然语言处理研究中常被忽视的语言，如提格雷尼亚语、北恩德贝莱语和绍纳语，为低资源语言摘要任务提供了宝贵的训练与评估基础。每个样本均包含标题、正文和摘要三要素，便于开展条件文本生成研究。数据集采用CC-BY-4.0许可协议，确保了开放性与可复现性。此外，各语言子集规模差异明显，英语、俄语等语种样本量丰富，而阿姆哈拉语、索马里语等则相对较小，这种分布特性为跨语言迁移学习与少样本学习研究提供了天然实验平台。

使用方法

使用者可通过Hugging Face Datasets库便捷加载LR-Sum数据集。加载时需指定具体语言配置名称，例如加载阿塞拜疆语子集可使用'aze'参数，系统将自动获取对应的训练、验证和测试分片。数据集支持条件文本生成任务，典型应用场景包括多语言摘要模型训练与评估。研究人员可基于各语言子集的summary字段作为目标输出，text字段作为输入，构建序列到序列模型。对于仅含测试集的语言，可将其用于零样本跨语言迁移评估。数据加载后返回标准的datasets.Dataset对象，包含id、url、title、summary和text五个特征列，方便直接集成到PyTorch或TensorFlow训练流程中。

背景与挑战

背景概述

LR-Sum数据集由bltlab团队创建，旨在推动多语言文本摘要领域的发展。该数据集涵盖了从阿姆哈拉语到越南语等数十种语言，包括许多低资源语言，如豪萨语、索马里语和克丘亚语，填补了现有摘要数据集在语言多样性上的显著空白。其核心研究问题聚焦于如何在缺乏大规模标注数据的情况下，训练出能够生成高质量摘要的跨语言模型。自发布以来，LR-Sum已成为评估和提升多语言摘要系统性能的关键基准，尤其对低资源语言的自然语言处理研究产生了深远影响，促进了语言技术在全球范围内的普惠性发展。

当前挑战

LR-Sum面临的核心挑战在于多语言摘要任务的固有复杂性。首先，低资源语言的数据稀缺性导致模型难以学习到丰富的语言模式和语义结构，摘要质量往往不及高资源语言。其次，不同语言在语法、句法和文化表达上的巨大差异，使得设计统一的摘要模型极具难度，模型容易产生语言特定的偏见。在构建过程中，团队需从新闻网站等来源收集并清洗数据，确保跨语言数据的一致性和准确性，同时应对部分语言数据量极少（如仅数百条测试样本）带来的标注和评估困难。此外，如何设计有效的评价指标来衡量多语言摘要的真实质量，也是一个亟待解决的难题。

常用场景

经典使用场景

LR-Sum数据集的核心应用场景在于多语言文本摘要任务的基准评测与模型训练。该数据集覆盖了超过40种语言，包括许多资源匮乏的低资源语言，如阿姆哈拉语、缅甸语、索马里语等，为跨语言摘要研究提供了统一且规模可观的评测平台。研究者可借此评估生成式摘要模型在不同语言上的泛化能力，尤其适用于探索零样本或少样本条件下的跨语言迁移学习范式。

衍生相关工作

围绕LR-Sum数据集，学术界已衍生出一系列经典工作，涵盖多语言预训练模型的微调策略、跨语言摘要的对比学习框架以及低资源语言的提示工程方法。研究者常以该数据集为基准，评估如mT5、mBART等模型在多语言摘要任务上的表现，并探索基于课程学习或元学习的训练范式来缓解语言不平衡问题。这些工作共同推动了多语言自然语言生成领域的理论与方法创新。

数据集最近研究

最新研究方向

在自然语言处理领域，多语言摘要生成正成为备受瞩目的前沿方向，尤其聚焦于低资源语言的文本理解与精简表达能力。LR-Sum数据集应运而生，它覆盖了从阿姆哈拉语到越南语的40余种语言，其中既包含英语、汉语等资源丰富的语种，也囊括了索马里语、提格雷语等长期被主流研究忽视的低资源语言。这一数据集的发布恰逢全球对语言技术普惠性与包容性呼声日益高涨的热点时期，为跨语言摘要模型的训练与评估提供了坚实的数据基石。其深远意义在于，它打破了以往研究过度集中于高资源语言的局限，推动模型在多样化的语言结构、语法特征与文化语境中学习泛化能力，从而加速了真正意义上通用语言理解系统的构建进程，也为弥合数字鸿沟、促进信息公平获取贡献了关键力量。