nbroad/mediasum

---
language:
- en
license:
- cc-by-nc-sa-4.0
multilinguality:
- monolingual
size_categories:
- 100K<n<1M
task_categories:
- summarization
---
# MediaSum
## Description
This large-scale media interview dataset contains 463.6K transcripts with abstractive summaries,
collected from interview transcripts and overview / topic descriptions from NPR and CNN.

### **NOTE: The authors have requested that this dataset be used for research purposes only**

## Homepage
https://github.com/zcgzcgzcg1/MediaSum
## Paper
https://arxiv.org/abs/2103.06410
## Authors
### Chenguang Zhu*, Yang Liu*, Jie Mei, Michael Zeng
#### Microsoft Cognitive Services Research Group
{chezhu,yaliu10,jimei,nzeng}@microsoft.com

## Citation

@article{zhu2021mediasum,
title={MediaSum: A Large-scale Media Interview Dataset for Dialogue Summarization},
author={Zhu, Chenguang and Liu, Yang and Mei, Jie and Zeng, Michael},
journal={arXiv preprint arXiv:2103.06410},
year={2021}
}

## Dataset size
Train: 443,596
Validation: 10,000
Test: 10,000

The splits were made by using the file located here: https://github.com/zcgzcgzcg1/MediaSum/tree/main/data

## Data details
- id (string): unique identifier
- program (string): the program this transcript came from
- date (string): date of program
- url (string): link to where audio and transcript are located
- title (string): title of the program. some datapoints do not have a title
- summary (string): summary of the program
- utt (list of string): list of utterances by the speakers in the program. corresponds with `speaker`
- speaker (list of string): list of speakers, corresponds with `utt`

Example:
```
{
"id": "NPR-11",
"program": "Day to Day",
"date": "2008-06-10",
"url": "https://www.npr.org/templates/story/story.php?storyId=91356794",
"title": "Researchers Find Discriminating Plants",
"summary": "The \"sea rocket\" shows preferential treatment to plants that are its kin. Evolutionary plant ecologist Susan Dudley of McMaster University in Ontario discusses her discovery.",
"utt": [
"This is Day to Day. I'm Madeleine Brand.",
"And I'm Alex Cohen.",
"Coming up, the question of who wrote a famous religious poem turns into a very unchristian battle.",
"First, remember the 1970s? People talked to their houseplants, played them classical music. They were convinced plants were sensuous beings and there was that 1979 movie, \"The Secret Life of Plants.\"",
"Only a few daring individuals, from the scientific establishment, have come forward with offers to replicate his experiments, or test his results. The great majority are content simply to condemn his efforts without taking the trouble to investigate their validity.",
...
"OK. Thank you.",
"That's Susan Dudley. She's an associate professor of biology at McMaster University in Hamilt on Ontario. She discovered that there is a social life of plants."
],
"speaker": [
"MADELEINE BRAND, host",
"ALEX COHEN, host",
"ALEX COHEN, host",
"MADELEINE BRAND, host",
"Unidentified Male",
..."
Professor SUSAN DUDLEY (Biology, McMaster University)",
"MADELEINE BRAND, host"
]
}
```
## Using the dataset
```python
from datasets import load_dataset
ds = load_dataset("nbroad/mediasum")
```
## Data location
https://drive.google.com/file/d/1ZAKZM1cGhEw2A4_n4bGGMYyF8iPjLZni/view?usp=sharing

## License
No license specified, but the authors have requested that this dataset be used for research purposes only.

语言：
- en
许可证：
- cc-by-nc-sa-4.0
多语言属性：
- 单语言
规模类别：
- 100K<n<1M（10万<样本量<100万）
任务类别：
- 摘要生成（summarization）

# MediaSum
## 数据集概述
本大规模媒体访谈数据集包含463.6万条带抽象式摘要（abstractive summaries）的转录文本（transcripts），采集自美国国家公共广播电台（NPR）与美国有线电视新闻网（CNN）的访谈转录文本及概述/主题描述。

### **注意：数据集作者要求本数据集仅可用于科研用途**

## 项目主页
https://github.com/zcgzcgzcg1/MediaSum
## 论文链接
https://arxiv.org/abs/2103.06410
## 作者
### 朱陈光*、刘阳*、梅杰、迈克尔·曾
#### 微软（Microsoft）认知服务研究组
{chezhu,yaliu10,jimei,nzeng}@microsoft.com

## 引用格式
bibtex
@article{zhu2021mediasum,
title={MediaSum: A Large-scale Media Interview Dataset for Dialogue Summarization},
author={Zhu, Chenguang and Liu, Yang and Mei, Jie and Zeng, Michael},
journal={arXiv preprint arXiv:2103.06410},
year={2021}
}

## 数据集规模
训练集：443,596条
验证集：10,000条
测试集：10,000条

数据集划分所使用的配置文件可在此处获取：https://github.com/zcgzcgzcg1/MediaSum/tree/main/data

## 数据字段说明
- id（字符串）：唯一标识符
- program（字符串）：该转录文本所属的节目名称
- date（字符串）：节目播出日期
- url（字符串）：音频与转录文本的来源链接
- title（字符串）：节目标题，部分数据点无对应标题
- summary（字符串）：节目摘要文本
- utt（字符串列表）：节目中所有发言者的话语片段（utterances），与`speaker`字段一一对应
- speaker（字符串列表）：发言者列表，与`utt`字段一一对应

## 数据示例
json
{
"id": "NPR-11",
"program": "Day to Day",
"date": "2008-06-10",
"url": "https://www.npr.org/templates/story/story.php?storyId=91356794",
"title": "Researchers Find Discriminating Plants",
"summary": ""海棘（sea rocket）"会对亲缘植物表现出偏好性照料。加拿大安大略省麦克马斯特大学的进化植物生态学家苏珊·达德利讲述了她的研究发现。",
"utt": [
"这里是《每日访谈》，我是玛德琳·布兰德。",
"我是亚历克斯·科恩。",
"接下来我们将探讨：一首著名宗教诗歌的作者归属问题如何演变为一场毫不基督的论战。",
"首先，还记得上世纪70年代吗？人们会对着室内盆栽交谈，为它们播放古典音乐。他们坚信植物是拥有感知能力的生命，还有1979年的电影《植物的秘密生活》。",
"仅有少数来自科学界的勇敢人士站出来，表示愿意重复他的实验或验证其研究结果。绝大多数人只是简单地谴责他的研究，却不愿费心去验证其有效性。",
"...",
"好的，谢谢。",
"以上就是苏珊·达德利的分享。她是加拿大安大略省汉密尔顿市麦克马斯特大学生物学副教授，她发现了植物的社交生活。"
],
"speaker": [
"玛德琳·布兰德，主持人",
"亚历克斯·科恩，主持人",
"亚历克斯·科恩，主持人",
"玛德琳·布兰德，主持人",
"匿名男性",
"...",
"苏珊·达德利教授（麦克马斯特大学生物学系）",
"玛德琳·布兰德，主持人"
]
}

## 数据集使用方法
python
from datasets import load_dataset
ds = load_dataset("nbroad/mediasum")

## 数据存储位置
https://drive.google.com/file/d/1ZAKZM1cGhEw2A4_n4bGGMYyF8iPjLZni/view?usp=sharing

## 许可证
未明确指定许可证，但数据集作者要求本数据集仅可用于科研用途。

原始信息汇总

数据集概述

基本信息

• 名称: MediaSum
• 语言: 英语
• 许可证: cc-by-nc-sa-4.0
• 多语言性: 单语
• 大小: 100K<n<1M
• 任务类别: 摘要生成

描述

MediaSum是一个大规模的媒体采访数据集，包含463.6K个转录文本及其摘要，数据来源于NPR和CNN的采访转录和主题概述。

数据集大小

• 训练集: 443,596
• 验证集: 10,000
• 测试集: 10,000

数据详情

• 字段:
  • id (字符串): 唯一标识符
  • program (字符串): 转录来源的节目
  • date (字符串): 节目日期
  • url (字符串): 音频和转录的链接
  • title (字符串): 节目标题
  • summary (字符串): 节目摘要
  • utt (字符串列表): 节目中的发言人话语列表
  • speaker (字符串列表): 发言人列表

使用限制

• 用途: 仅限研究使用

示例数据结构

json { "id": "NPR-11", "program": "Day to Day", "date": "2008-06-10", "url": "https://www.npr.org/templates/story/story.php?storyId=91356794", "title": "Researchers Find Discriminating Plants", "summary": "The "sea rocket" shows preferential treatment to plants that are its kin. Evolutionary plant ecologist Susan Dudley of McMaster University in Ontario discusses her discovery.", "utt": [ "This is Day to Day. Im Madeleine Brand.", "And Im Alex Cohen.", "Coming up, the question of who wrote a famous religious poem turns into a very unchristian battle.", "First, remember the 1970s? People talked to their houseplants, played them classical music. They were convinced plants were sensuous beings and there was that 1979 movie, "The Secret Life of Plants."", "Only a few daring individuals, from the scientific establishment, have come forward with offers to replicate his experiments, or test his results. The great majority are content simply to condemn his efforts without taking the trouble to investigate their validity.", ... "OK. Thank you.", "Thats Susan Dudley. Shes an associate professor of biology at McMaster University in Hamilt on Ontario. She discovered that there is a social life of plants." ], "speaker": [ "MADELEINE BRAND, host", "ALEX COHEN, host", "ALEX COHEN, host", "MADELEINE BRAND, host", "Unidentified Male",
..." Professor SUSAN DUDLEY (Biology, McMaster University)", "MADELEINE BRAND, host" ] }

搜集汇总

数据集介绍

构建方式

MediaSum数据集由微软认知服务研究团队构建，旨在为对话摘要任务提供大规模训练资源。其数据源自NPR和CNN两大新闻媒体的访谈节目，通过收集节目转录文本及其对应的概述或主题描述，构建了包含463.6K条样本的语料库。每条样本包含唯一的标识符、节目名称、日期、原始音频链接、标题、摘要以及由说话者和话语组成的对话列表。数据集按照训练、验证、测试集进行划分，分别包含443,596、10,000和10,000条样本，划分依据来自官方GitHub仓库提供的文件。

特点

该数据集的核心特点在于其大规模性与领域针对性，聚焦于新闻访谈这一特定对话场景，为对话摘要研究提供了丰富的真实世界数据。每条样本不仅包含完整的对话转录，还附带了由专业人员撰写的抽象式摘要，确保了摘要质量。数据集涵盖多个节目类型，时间跨度广泛，体现了内容的多样性。此外，数据以结构化JSON格式存储，包含说话者与话语的对应关系，便于模型学习对话中的角色交互与信息压缩。

使用方法

使用MediaSum数据集十分便捷，用户可通过HuggingFace的datasets库直接加载。只需调用`load_dataset("nbroad/mediasum")`即可获得完整的训练、验证和测试集。数据加载后，每条样本以字典形式呈现，包含id、program、date、url、title、summary、utt和speaker等字段，方便用户根据任务需求提取摘要文本与对话内容。研究人员可将其用于对话摘要模型的训练与评估，或进一步分析新闻访谈的语言结构。

背景与挑战

背景概述

在对话摘要领域，受限于高质量、大规模标注数据的匮乏，模型往往难以捕捉多轮对话中的核心语义与信息流。MediaSum数据集由微软认知服务研究团队的Chenguang Zhu、Yang Liu、Jie Mei和Michael Zeng于2021年创建，旨在填补这一空白。该数据集从NPR和CNN的媒体访谈节目中收集了463.6K条对话记录及其抽象摘要，每条数据包含节目信息、说话人及话语序列，覆盖新闻、文化、科技等多主题。MediaSum的推出为对话摘要研究提供了规模空前的训练资源，推动了序列到序列模型及预训练语言模型在这一任务上的性能提升，成为该领域的重要基准之一。

当前挑战

MediaSum所面临的挑战首先体现在领域问题的复杂性上：对话摘要需处理非结构化、口语化的多轮交互，涉及话题跳跃、指代模糊及发言人角色变化，这对模型理解上下文与提炼关键信息构成显著困难。其次，在构建过程中，原始访谈转录文本存在噪声，如重复话语、打断及非语言表达（如笑声），需进行清洗与标准化；同时，从不同来源（NPR与CNN）获取的摘要风格存在差异，难以保证一致性。此外，数据规模庞大，需设计高效的分割策略以避免信息泄露，并在缺乏统一许可协议的情况下，确保仅用于研究目的，限制了其商业应用与跨领域泛化。

常用场景

经典使用场景

MediaSum作为大规模媒体访谈对话摘要数据集，其经典使用场景聚焦于对话式文本的抽象摘要生成任务。该数据集包含来自NPR和CNN的逾46万条访谈转录文本，每条数据均配有高质量的主题摘要，为研究者提供了丰富的多轮对话语义压缩训练素材。在对话摘要领域，模型需从冗长的多说话者交互中提取关键信息并重构为连贯的概要文本，MediaSum凭借其真实媒体来源和结构化标注，成为评估生成式摘要系统在复杂对话场景下表现的重要基准。

解决学术问题

该数据集旨在解决对话摘要研究中长期存在的标注数据匮乏与领域覆盖不足问题。传统摘要数据集多聚焦于新闻文章或单轮文本，难以捕捉对话特有的指代消解、话题漂移和说话者身份建模等挑战。MediaSum通过大规模多源访谈数据，使学术界能够深入探究面向对话的抽象摘要技术，推动模型在长距离语义依赖和角色感知摘要生成方面的突破。其发布显著促进了对话自然语言处理领域从单语向多说话者场景的范式迁移。

衍生相关工作

MediaSum的发布催生了多项经典研究工作，包括基于预训练语言模型的对话摘要框架（如BART、Pegasus在对话场景的适配）、结合说话者角色嵌入的层次化摘要模型，以及面向长文本的稀疏注意力机制改进方法。研究者还将其与会议摘要数据集（如AMI、ICSI）进行跨域迁移学习，探索对话结构特征在摘要任务中的泛化能力。此外，该数据集被用于评估大语言模型在零样本对话摘要场景下的表现，成为检验模型长文本理解与信息压缩能力的关键测试资源。