csebuetnlp/xlsum|文本摘要数据集|多语言处理数据集

XL-Sum是一个包含1.35百万个经过专业注释的文章-摘要对的多样化数据集，涵盖了从低资源到高资源的45种语言。该数据集适用于摘要生成和文本生成任务，具有高度的抽象性、简洁性和高质量。数据来源于BBC新闻，经过精心设计的启发式方法提取。

原始信息汇总

数据集概述

数据集名称

• 名称: XL-Sum
• 别名: XLSum

数据集描述

• 概述: XL-Sum 是一个包含1.35百万个专业标注的文章-摘要对的全面且多样化的数据集，这些数据从BBC提取，使用了一套精心设计的启发式方法。该数据集覆盖了45种语言，涵盖了从低资源到高资源的语言，其中许多语言目前没有公开可用的数据集。XL-Sum 高度抽象、简洁且质量高，这一点已通过人类和内在评估得到证实。

支持的任务和排行榜

• 任务: 摘要生成、文本生成

语言

• 支持的语言: 包括但不限于阿姆哈拉语、阿拉伯语、阿塞拜疆语、孟加拉语、缅甸语、简体中文、繁体中文、英语、法语、古吉拉特语、豪萨语、印地语、伊博语、印度尼西亚语、日语、基隆迪语、韩语、吉尔吉斯语、马拉地语、尼泊尔语、奥罗莫语、普什图语、波斯语、皮钦语、葡萄牙语、旁遮普语、俄语、苏格兰盖尔语、塞尔维亚语（西里尔字母）、塞尔维亚语（拉丁字母）、僧伽罗语、索马里语、西班牙语、斯瓦希里语、泰米尔语、泰卢固语、泰语、提格里尼亚语、土耳其语、乌克兰语、乌尔都语、乌兹别克语、越南语、威尔士语、约鲁巴语。

数据集结构

• 数据实例: 每个实例包括文章ID、URL、标题、摘要和全文。
• 数据字段: 包括id, url, title, summary, text。
• 数据分割: 大多数语言采用80%-10%-10%的分割，但英语、苏格兰盖尔语、吉尔吉斯语和僧伽罗语有特殊分割比例。

数据集创建

• 来源数据: 来自BBC新闻。
• 许可证: 数据集内容受Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License (CC BY-NC-SA 4.0)限制，仅用于非商业研究目的。

引用信息

• 引用: 如果使用该数据集，请引用以下论文：

  @inproceedings{hasan-etal-2021-xl, title = "{XL}-Sum: Large-Scale Multilingual Abstractive Summarization for 44 Languages", author = "Hasan, Tahmid and Bhattacharjee, Abhik and Islam, Md. Saiful and Mubasshir, Kazi and Li, Yuan-Fang and Kang, Yong-Bin and Rahman, M. Sohel and Shahriyar, Rifat", booktitle = "Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021", month = aug, year = "2021", address = "Online", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2021.findings-acl.413", pages = "4693--4703", }