neil-code/dialogsum-test

DIALOGSum是一个大规模的对话摘要数据集，包含13,460个对话（外加100个用于主题生成的保留数据）及其对应的人工标注的摘要和主题。数据集来源于多个公开的对话语料库，涵盖了日常生活中的多种场景，如学校、工作、医疗、购物、休闲、旅行等。对话通常发生在朋友、同事以及服务提供者与顾客之间。与之前的对话数据集相比，DIALOGSum的对话具有更丰富的现实生活场景、更清晰的沟通模式和意图，以及适合自动摘要的合理长度。每个对话的摘要由语言专家根据特定标准进行标注，包括传达最重要的信息、简洁、保留对话中的重要命名实体、以观察者视角书写、使用正式语言等。

DIALOGSum is a large-scale dialogue summarization dataset containing 13,460 dialogues (plus 100 reserved samples for topic generation) along with their manually annotated summaries and topics. The dataset is sourced from multiple public dialogue corpora, covering various daily life scenarios such as school, work, healthcare, shopping, leisure, travel, and more. Dialogues typically occur between friends, colleagues, as well as service providers and customers. Compared with previous dialogue datasets, the dialogues in DIALOGSum feature more diverse real-life scenarios, clearer communication patterns and intentions, as well as reasonable lengths suitable for automatic summarization. The summary for each dialogue is annotated by language experts in accordance with specific criteria, including conveying the most important information, being concise, retaining important named entities in the dialogue, being written from an observer's perspective, and using formal language, among others.

原始信息汇总

DIALOGSum Corpus 数据集概述

数据集描述

数据集摘要

DialogSum 是一个大规模的对话摘要数据集，包含 13,460 个对话及其对应的手动标注摘要和主题。此外，还有 100 个用于主题生成的保留数据。

语言

英语

数据集结构

数据实例

DialogSum 数据集包含 13,460 个对话（外加 1000 个测试数据），分为训练集、测试集和验证集。

训练集中的第一个实例： json { "id": "train_0", "summary": "Mr. Smiths getting a check-up, and Doctor Hawkins advises him to have one every year. Hawkinsll give some information about their classes and medications to help Mr. Smith quit smoking.", "dialogue": "#Person1#: Hi, Mr. Smith. Im Doctor Hawkins. Why are you here today? #Person2#: I found it would be a good idea to get a check-up. #Person1#: Yes, well, you havent had one for 5 years. You should have one every year. #Person2#: I know. I figure as long as there is nothing wrong, why go see the doctor? #Person1#: Well, the best way to avoid serious illnesses is to find out about them early. So try to come at least once a year for your own good. #Person2#: Ok. #Person1#: Let me see here. Your eyes and ears look fine. Take a deep breath, please. Do you smoke, Mr. Smith? #Person2#: Yes. #Person1#: Smoking is the leading cause of lung cancer and heart disease, you know. You really should quit. #Person2#: Ive tried hundreds of times, but I just cant seem to kick the habit. #Person1#: Well, we have classes and some medications that might help. Ill give you more information before you leave. #Person2#: Ok, thanks doctor.", "topic": "get a check-up" }

数据字段

• dialogue: 对话文本。
• summary: 人工编写的对话摘要。
• topic: 人工编写的对话主题/一句话概括。
• id: 示例的唯一文件ID。

数据分割

• 训练集: 12460
• 验证集: 500
• 测试集: 1500
• 保留集: 100（仅包含 id, dialogue, topic 三个字段）

数据集创建

策划理由

DialogSum 数据集从三个公共对话语料库（Dailydialog、DREAM 和 MuTual）以及一个英语口语练习网站收集对话数据。这些数据集包含面对面口语对话，涵盖日常生活主题，如学校、工作、医疗、购物、休闲、旅行等。大多数对话发生在朋友、同事以及服务提供者和顾客之间。

与先前的数据集相比，DialogSum 的对话具有以下特点：

• 在丰富的真实生活场景中，包括更多样化的任务导向场景；
• 具有清晰的沟通模式和意图，适合作为摘要的来源；
• 具有合理的长度，适合自动摘要的目的。

标注者根据以下标准对每个对话进行摘要：

• 传达最重要的信息；
• 简洁；
• 保留对话中的重要命名实体；
• 从观察者角度编写；
• 使用正式语言。

源语言生产者

语言学家

标注者

语言专家

许可信息

MIT 许可证

搜集汇总

数据集介绍

构建方式

在对话摘要研究领域，高质量数据集的构建是推动模型性能提升的关键。DialogSum数据集由语言专家精心构建，其数据源自DailyDialog、DREAM、MuTual三个公开对话语料库及一个英语口语练习网站，涵盖学业、工作、医疗、购物、休闲、旅行等丰富日常生活场景。原始对话多为朋友间、同事间或服务提供者与客户间的面对面口语交流。标注者遵循传递最显著信息、保持简洁、保留重要命名实体、从观察者视角以正式语言撰写摘要的准则，对每个对话进行人工摘要标注，最终形成包含13,460个对话及对应摘要和主题的大规模数据集，并按12,460/500/1,500/100划分为训练、验证、测试和保留集。

特点

该数据集具有鲜明的领域特色。首先，它聚焦真实生活场景，包含比以往数据集更多样化的任务导向型对话，沟通模式和意图清晰，为摘要生成提供了优质素材。其次，对话长度适中，契合自动摘要任务的需求。再者，每个样本都配备由语言专家撰写的高质量摘要和主题标签，确保了标注的准确性和一致性。此外，数据集规模达到万级，为训练鲁棒的摘要模型提供了充足数据。这些特点使得DialogSum成为评估和提升对话摘要系统在现实场景中表现的重要基准。

使用方法

该数据集主要面向摘要生成、文本到文本生成及文本生成等自然语言处理任务。使用时，用户可通过HuggingFace Datasets库直接加载，数据包含'dialogue'、'summary'、'topic'和'id'四个字段。典型应用场景包括训练对话摘要模型，输入对话文本，输出简洁准确的摘要；也可用于主题生成任务。数据集已预设好训练、验证和测试划分，便于直接开展实验。研究人员可基于其MIT开源许可协议自由使用，并参考相关论文中的评估指标进行模型性能对比。

背景与挑战

背景概述

对话摘要作为自然语言处理领域的重要分支，旨在将冗长的对话内容精炼为简洁而信息完整的摘要，广泛应用于客服记录、会议总结及日常交流回顾等场景。由陈玉龙、刘洋、陈亮和张悦等研究人员于2021年提出的DialogSum语料库，源自ACL-IJCNLP会议，构建于DailyDialog、DREAM和MuTual等公开对话数据集及英语口语练习网站之上，汇集了13,460段涵盖教育、医疗、购物、旅行等真实生活场景的面对面口语对话。该数据集由语言专家手动标注摘要与主题，强调简洁性、关键实体保留及客观视角，填补了大规模、多样化对话摘要资源的空白，为自动摘要模型的训练与评估提供了坚实基础，显著推动了对话理解与生成技术的发展。

当前挑战

DialogSum所面临的挑战首先体现在领域问题的复杂性上：对话摘要需捕捉多轮交互中的核心信息与意图，区别于传统文档摘要，对话中隐含的上下文依赖、指代消解及非结构化表达增加了摘要生成的难度。在构建过程中，挑战同样显著：从多个异质语料源中筛选对话需确保场景多样性、沟通模式清晰及长度适中，同时人工标注要求摘要既传达最显著信息又保持简洁，且从客观视角以正式语言撰写，这对标注人员的一致性与效率提出严苛要求。此外，数据集涵盖服务提供者与客户、朋友等多元关系，需处理不同对话风格与主题的泛化问题，为模型在真实应用中的鲁棒性带来考验。

常用场景

经典使用场景

DialogSum作为大规模对话摘要数据集，其最经典的使用场景在于训练和评估面向真实生活场景的对话摘要模型。该数据集包含13,460段涵盖学校、工作、医疗、购物、休闲、旅行等日常主题的对话，每段对话均配有专家撰写的高质量摘要和主题标签。研究者通常将其作为基准数据集，用于开发能够捕捉对话中关键信息、保持语义连贯性并生成简洁摘要的序列到序列模型。通过在该数据集上的训练与评测，模型可以学习到如何从多轮对话中提取核心内容，从而推动对话摘要技术的进步。

解决学术问题

DialogSum解决了对话摘要领域长期缺乏大规模、高质量、覆盖真实生活场景标注数据集的学术难题。此前的研究多依赖于新闻或文档摘要数据集，难以应对对话中存在的口语化表达、话题跳跃、指代模糊等复杂特性。该数据集通过专家标注确保了摘要的准确性和简洁性，为研究者提供了标准化的训练与评估平台。其出现显著推动了对话摘要技术的定量研究，使得模型在理解对话结构、识别重要实体和生成流畅摘要方面的性能得以系统性地提升，并促进了对比实验的公平性。

衍生相关工作

DialogSum的发布催生了一系列经典研究工作，包括基于预训练语言模型的对话摘要方法、融合对话结构的图神经网络摘要模型，以及面向低资源场景的元学习框架。例如，BART和Pegasus等预训练模型在DialogSum上的微调成为基线方法；后续工作如DialoGPT结合对话历史进行摘要生成，以及利用角色识别和对话行为标签增强摘要质量的研究均以此数据集为基准。此外，该数据集还被用于跨语言对话摘要和对话理解联合任务的探索，推动了多任务学习在对话系统领域的发展。