PericlesSavio/resumo

DIALOGSum Corpus是一个大规模的对话摘要数据集，包含13,460个对话及其手动标注的摘要和主题。数据来源于多个公开对话语料库和一个英语口语练习网站，涵盖了广泛的日常生活话题。数据集的特点是包含丰富的现实生活场景，具有清晰的沟通模式和意图，适合自动摘要任务。数据集的创建过程中，语言专家根据特定标准对每个对话进行了摘要。The DIALOGSum Corpus is a large-scale dialogue summarization dataset containing 13,460 dialogues along with their manually annotated summaries and topics. The data is sourced from multiple public dialogue corpora and an English oral practice website, covering a wide range of daily life topics. This dataset features rich real-world scenarios, with clear communication patterns and intentions, making it suitable for automatic summarization tasks. During the dataset construction process, language experts generated summaries for each dialogue based on specific criteria.

原始信息汇总

DIALOGSum Corpus 数据集概述

数据集描述

概述

DialogSum 是一个大规模的对话摘要数据集，包含 13,460 个对话及其对应的手动标注摘要和主题。

语言

英语

数据集结构

数据实例

DialogSum 数据集包含 13,460 个对话（+1000 个测试数据），分为训练集、测试集和验证集。

训练集中的第一个实例： json { "id": "train_0", "summary": "Mr. Smiths getting a check-up, and Doctor Hawkins advises him to have one every year. Hawkinsll give some information about their classes and medications to help Mr. Smith quit smoking.", "dialogue": "#Person1#: Hi, Mr. Smith. Im Doctor Hawkins. Why are you here today? #Person2#: I found it would be a good idea to get a check-up. #Person1#: Yes, well, you havent had one for 5 years. You should have one every year. #Person2#: I know. I figure as long as there is nothing wrong, why go see the doctor? #Person1#: Well, the best way to avoid serious illnesses is to find out about them early. So try to come at least once a year for your own good. #Person2#: Ok. #Person1#: Let me see here. Your eyes and ears look fine. Take a deep breath, please. Do you smoke, Mr. Smith? #Person2#: Yes. #Person1#: Smoking is the leading cause of lung cancer and heart disease, you know. You really should quit. #Person2#: Ive tried hundreds of times, but I just cant seem to kick the habit. #Person1#: Well, we have classes and some medications that might help. Ill give you more information before you leave. #Person2#: Ok, thanks doctor.", "topic": "get a check-up" }

数据字段

• dialogue: 对话文本。
• summary: 人工编写的对话摘要。
• topic: 人工编写的对话主题/一句话摘要。
• id: 示例的唯一文件ID。

数据分割

• 训练集: 12460
• 验证集: 500
• 测试集: 1500
• 保留集: 100（仅包含 id, dialogue, topic 三个字段）

数据集创建

策划理由

DialogSum 数据集从三个公共对话语料库（Dailydialog, DREAM 和 MuTual）以及一个英语口语练习网站收集对话数据。这些数据集包含面对面口语对话，涵盖日常生活主题，如学校、工作、医疗、购物、休闲、旅行。大多数对话发生在朋友、同事以及服务提供者和顾客之间。

与先前的数据集相比，DialogSum 的对话具有以下特点：

• 在丰富的真实生活场景中，包括更多样化的任务导向场景；
• 具有清晰的沟通模式和意图，适合作为摘要来源；
• 具有合理的长度，适合自动摘要的目的。

标注者根据以下标准对每个对话进行摘要：

• 传达最重要的信息；
• 简洁；
• 保留对话中的重要命名实体；
• 从观察者角度编写；
• 使用正式语言。

源语言生产者

语言学家

标注者

语言专家

许可信息

CC BY-NC-SA 4.0

搜集汇总

数据集介绍

构建方式

在对话摘要领域，高质量的数据集是推动模型性能提升的关键基石。DialogSum数据集由语言专家精心构建，其语料源自DailyDialog、DREAM、MuTual三个公开对话语料库及一个英语口语练习网站，涵盖学业、工作、医疗、购物、休闲、旅行等丰富日常生活场景。标注者遵循严格准则进行摘要撰写：传达最显著信息、保持简洁、保留关键命名实体、采用观察者视角并使用正式语言。最终形成包含13,460条对话及对应人工标注摘要和主题的大规模数据集，按12,460/500/1,500/100划分为训练、验证、测试及留存集。

特点

该数据集具有鲜明特色。首先，对话场景高度多样化，涵盖大量任务导向型交互，较以往数据集更具真实生活气息。其次，对话具备清晰的交流模式和意图，为摘要生成提供了优质源材料。再者，对话长度适中，非常适合自动摘要任务。每条数据包含对话文本、人工撰写的摘要及主题三要素，其中主题作为简洁的一行概括，为多粒度摘要研究提供了可能。数据集采用CC BY-NC-SA 4.0许可协议，便于学术研究使用。

使用方法

该数据集适用于多种自然语言处理任务。在摘要任务中，可直接将对话文本作为输入，摘要文本作为输出，训练序列到序列模型。对于文本生成任务，可基于对话生成主题或摘要。使用时需注意数据格式：对话以#Person1#、#Person2#等角色标签分隔，摘要保持简洁正式。建议采用标准训练/验证/测试划分，其中留存集仅含对话和主题，可用于主题生成任务。研究者可在HuggingFace上通过数据集加载工具直接调用，或从GitHub仓库获取原始文件进行定制化处理。

背景与挑战

背景概述

在自然语言处理领域，对话摘要任务旨在从多轮对话中提炼关键信息，生成简洁且准确的摘要，这对于信息检索、人机交互等应用具有重要价值。DialogSum数据集由Chen等人于2021年在ACL-IJCNLP会议上提出，研究团队来自多家知名机构，其核心研究问题在于构建一个大规模、高质量且覆盖真实生活场景的对话摘要数据集。该数据集包含13,460个对话样本，每个样本均配有专家标注的摘要和主题，来源包括DailyDialog、DREAM、MuTual等公开语料库及英语口语练习网站，涵盖教育、医疗、购物等多领域场景。DialogSum的发布填补了当时对话摘要领域缺乏大规模、多样化标注数据的空白，为后续研究提供了标准化的评估基准，显著推动了对话摘要技术的发展。

当前挑战

对话摘要领域面临的核心挑战在于如何精准捕捉多轮对话中的语义焦点与信息层级，尤其在任务导向型场景中，对话意图与上下文交织，生成摘要需兼顾简洁性与信息完整性。DialogSum的构建过程亦遭遇多重困难：首先，从多个异构语料库中筛选对话时，需确保场景多样性同时维持数据一致性，避免主题偏差；其次，专家标注需遵循严格准则，如保留关键命名实体、采用观察者视角及正式语言，这要求标注者具备语言学专业知识，增加了人力成本与质量控制难度；此外，对话中隐含的语用信息（如反讽、省略）对摘要生成构成额外挑战，现有模型难以有效处理此类非字面表达。

常用场景

经典使用场景

DialogSum作为大规模对话摘要数据集，经典使用场景聚焦于对话式文本的自动摘要生成任务。其包含13,460段源自日常对话、医疗咨询、商务洽谈等真实生活场景的多轮对话，每段对话均配有人工精标的摘要与主题标签。研究者常以此数据集训练和评估序列到序列模型，如基于Transformer的生成式摘要架构，旨在从冗长、口语化且富含指代与省略的对话中提取关键信息，生成简洁连贯的总结性文本。该场景强调模型对对话流中隐含意图与信息层次的捕捉能力，是自然语言处理领域对话理解与生成技术的重要基准。

解决学术问题

在学术研究中，DialogSum有效解决了对话摘要领域长期缺乏高质量、大规模标注语料的困境。此前数据集多集中于新闻或单文档摘要，难以应对对话特有的交互性、话题漂移与非正式表达。该数据集通过覆盖多样化日常场景与任务导向型对话，为研究对话中的信息压缩、核心内容抽取及指代消解等核心问题提供了标准化评测平台。其构建推动了对话摘要从规则驱动向数据驱动范式的转变，显著提升了模型在真实对话场景下的泛化能力，并促进了跨任务迁移学习与多模态对话理解等前沿方向的探索。

衍生相关工作

DialogSum的发布催生了系列经典衍生工作，包括面向对话摘要的预训练语言模型优化（如BART与PEGASUS在对话域的精调方案）、基于图神经网络的对话结构建模方法，以及融合对话行为与情感线索的增强摘要框架。研究者还基于其标注体系扩展了跨语言对话摘要任务，并引入对比学习策略以提升摘要的忠实度与多样性。此外，该数据集常作为多任务学习的基石，与对话生成、主题识别等任务联合训练，推动端到端对话系统的整体进步，其影响力延伸至人机交互与计算语言学交叉领域。