DeepDialogue

DeepDialogue是一个大规模的多模态数据集，包含40,150个高质量的对话，涵盖了41个不同的领域，并融入了20种不同的情感，以及情感的连贯发展。该数据集通过结合9种不同的语言模型生成65,600个初始对话，并通过人类评估和基于LLM的质量筛选进行严格的质量评估。最后，所有40,150个文本对话都被转换为语音对话，使用先进的文本到语音（TTS）技术，确保合成的语音能够真实地传达情感状态。DeepDialogue旨在解决现有对话数据集在情感范围、领域多样性、对话深度和模态方面的局限性，为研究情感智能对话系统提供支持。DeepDialogue is a large-scale multimodal dataset comprising 40,150 high-quality conversations spanning 41 distinct domains, with 20 distinct emotions incorporated and the coherent progression of emotional states across the dialogues. 65,600 initial conversations were generated for the dataset by combining 9 distinct language models, followed by rigorous quality assessment via human evaluation and LLM-based quality filtering. Finally, all 40,150 textual conversations were converted into speech dialogues using advanced text-to-speech (TTS) technologies, ensuring that the synthesized speech can authentically convey emotional states. DeepDialogue aims to address the limitations of existing conversation datasets in terms of emotional scope, domain diversity, conversational depth and modality, providing support for research on emotionally intelligent dialogue systems.

原始信息汇总

DeepDialogue 数据集概述

基本信息

• 数据集名称: DeepDialogue
• 类型: 多轮情感丰富口语对话数据集
• 机构:
  • Politecnico di Torino
  • Kore University of Enna
• 作者: Alkis Koudounas, Moreno La Quatra, Elena Baralis
• 论文年份: 2025
• arXiv链接: https://arxiv.org/abs/2505.19978

数据集特点

• 规模: 40,150个高质量多轮对话
• 领域: 覆盖41个不同领域
• 情感标注: 包含20种不同情感
• 模态: 多模态（文本+语音）
• 语音合成: 为所有对话合成情感一致的语音
• 格式: JSON

关键统计

• 对话总数: 40K+
• 平均每轮对话数: 6.02
• 音频总时长: 480+小时
• 领域数量: 41

生成方法

• 初始对话生成: 使用9种不同语言模型（参数范围4B-72B）生成65,600个初始对话
• 质量评估: 结合人工标注和基于LLM的质量过滤

研究发现

1. 较小模型在超过6轮对话后难以保持连贯性
2. 具体领域（如"汽车"、"旅行"）比抽象领域（如"哲学"）产生更有意义的对话
3. 跨模型交互比同模型对话产生更连贯的对话

研究应用

• 对话分析: 研究LLM生成的人类对话动态
• 情感模型预训练: 利用大规模数据进行合成情感语音预训练
• 对话AI开发: 开发具有适当情感变化的更自然的对话系统

引用格式

bibtex @misc{koudounas2025deepdialoguemultiturnemotionallyrichspoken, title={DeepDialogue: A Multi-Turn Emotionally-Rich Spoken Dialogue Dataset}, author={Alkis Koudounas and Moreno La Quatra and Elena Baralis}, year={2025}, eprint={2505.19978}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2505.19978}, }

搜集汇总

数据集介绍

构建方式

DeepDialogue数据集的构建采用了一种系统化的多阶段流程。首先，通过精心设计的提示策略，利用9种不同规模的预训练语言模型（4B至72B参数）生成初始对话，这些模型在41个不同领域和20种情感状态下进行交互。随后，通过结合人工标注和基于大语言模型的自动化质量过滤，从65,600个初始对话中筛选出40,150个高质量对话。最后，采用XTTS-v2和Orpheus两种语音合成技术，将文本对话转化为情感一致的语音对话，确保了多模态数据的丰富性。

特点

DeepDialogue数据集具有三个显著特点：首先，它涵盖了41个多样化的领域和20种情感类别，为研究情感智能对话系统提供了全面的数据支持；其次，该数据集不仅包含文本对话，还通过先进的语音合成技术生成了情感一致的语音数据，填补了多模态对话数据的空白；最后，数据集揭示了不同规模语言模型在维持多轮对话一致性方面的性能差异，为模型优化提供了重要见解。

使用方法

DeepDialogue数据集可广泛应用于对话系统研究和开发。研究者可利用其丰富的多轮对话数据训练和评估对话模型的连贯性和情感理解能力；语音合成研究者可通过对比两种语音变体（显式情感条件合成与隐式语言线索合成）来改进情感语音生成技术；此外，该数据集还可用于跨领域迁移学习研究，探索不同领域对话特性的差异。使用时需注意遵循数据集的许可协议，并考虑其合成数据的特性。

背景与挑战

背景概述

DeepDialogue是由意大利都灵理工大学和科雷大学的Alkis Koudounas、Moreno La Quatra和Elena Baralis等研究人员于2025年提出的多模态对话数据集。该数据集旨在解决当前对话系统在多轮对话中情感连贯性和领域多样性不足的问题，包含40,150个高质量多轮对话，涵盖41个领域和20种情感状态。DeepDialogue通过结合9种不同规模的语言模型生成对话，并采用人工标注与基于大语言模型的自动过滤相结合的评估方法，确保了数据质量。该数据集不仅包含文本对话，还通过先进的文本转语音技术合成了情感一致的语音对话，为情感丰富的多模态对话系统研究提供了重要资源。

当前挑战

DeepDialogue面临的挑战主要包括两个方面：领域问题的挑战和构建过程的挑战。在领域问题方面，多轮情感对话的连贯性维护、跨领域对话的情感一致性以及语音模态中情感表达的准确性是主要难点。在构建过程中，如何平衡不同规模语言模型的生成质量、确保情感转换的自然性、处理大规模语音合成的计算成本，以及设计高效的人机协同质量评估机制都是关键挑战。此外，数据集还需要解决模型生成内容可能存在的偏见问题，以及合成语音与真实人类语音在情感表达上的差距等技术难题。

常用场景

经典使用场景

DeepDialogue数据集在多轮情感对话生成研究中具有重要应用价值，尤其在评估和提升对话系统的情感连贯性和领域适应性方面表现突出。研究者常利用该数据集训练和测试多模态对话模型，以探索模型在复杂情感表达和跨领域对话中的表现。通过模拟真实人类对话中的情感变化，DeepDialogue为开发更具人性化的对话系统提供了关键数据支持。

实际应用

在实际应用中，DeepDialogue为开发情感敏感的客服机器人、虚拟助手和心理健康支持系统提供了训练基础。其合成的语音对话可直接用于改善语音交互系统的情感表达能力，例如在车载语音系统中实现更自然的情绪反馈，或在教育机器人中模拟具有情感共鸣的教学对话。数据集的领域多样性也使其适用于垂直领域对话系统的快速适配。

衍生相关工作

基于DeepDialogue已衍生出多项创新研究，包括跨模态情感对齐算法、对话连贯性评估框架以及轻量级语音情感识别模型。部分工作利用其独特的模型间对话数据，提出了对抗性对话生成方法；另有研究结合其情感转移图谱，开发了基于心理学的对话状态跟踪器。这些衍生工作显著推进了情感计算与对话系统的交叉研究。