DailyTalk

DailyTalk是由韩国科学技术院与KRAFTON公司合作创建的高质量对话式语音数据集，专为对话式文本到语音转换（TTS）设计。该数据集包含2,541个对话，总时长约20小时，源自DailyDialog数据集，经过筛选、修改和录音处理，确保音频质量及对话的自然性。创建过程中，特别注意保持对话的多样性和学术开放性，同时添加了填充词如'uh'和'umm'以增强真实感。DailyTalk的应用领域主要集中在提升TTS系统在对话情境中的表现，解决传统TTS模型在处理连续对话时缺乏上下文连贯性的问题。

DailyTalk is a high-quality conversational speech dataset co-developed by the Korea Advanced Institute of Science and Technology (KAIST) and KRAFTON, tailored explicitly for conversational text-to-speech (TTS) applications. Comprising 2,541 conversations with an aggregate duration of roughly 20 hours, the dataset is derived from the DailyDialog dataset, and has undergone rigorous filtering, content revision, and audio recording workflows to guarantee superior audio quality and natural conversational authenticity. During the development process, special attention was paid to preserving conversational diversity and academic openness, while incorporating filler words such as "uh" and "umm" to bolster the realism of the dialogues. The core application scenarios of DailyTalk center on enhancing the performance of TTS systems in conversational contexts, addressing the limitation of traditional TTS models that lack contextual coherence when processing continuous multi-turn conversations.

搜集汇总

数据集介绍

构建方式

DailyTalk数据集从开放域对话数据集DailyDialog中精心筛选并录制了2,541段对话，确保每段对话至少包含5轮交互以保留上下文信息。录制过程由两名英语流利的配音演员在录音棚中同步进行，他们被要求模拟真实对话而非机械朗读，并依据情感标签调整语调。此外，约半数对话中融入了填充词（如“uh”、“um”），以增强自然度。录制后，六名标注员修正了因即兴发挥导致的文本与语音偏差，最终形成包含23,773个音频片段、总时长约20小时的高质量语料库。

特点

DailyTalk的核心特点在于其对话式语音合成的高保真度与上下文感知能力。数据集保留了DailyDialog的丰富标注属性（如情感、对话行为、主题），同时实现了双人同步录音与工作室级音质，避免了背景噪声与录音不一致问题。通过引入填充词和情感导向的表演，数据集不仅支持通用TTS训练，还特别适用于建模对话中的语境连贯性与韵律变化。统计显示，男女声样本数量均衡，平均每段对话约9.3轮，为上下文依赖的语音合成研究提供了坚实基础。

使用方法

DailyTalk适用于多种TTS模型的训练与评估。用户可直接将其作为通用TTS数据集，训练Tacotron2或FastSpeech2等模型，复现论文中的基线实验（如MOS测试）。针对对话式TTS，可基于FastSpeech2架构添加上下文编码器，利用历史对话信息作为额外输入，实现上下文感知的语音合成。数据集以CC-BY-SA 4.0许可开源，包含预处理脚本与基线代码，支持端到端训练。评估时可采用论文提出的对话级、成对级及用户-系统模拟MOS指标，以全面衡量上下文建模效果。

背景与挑战

背景概述

在文本到语音合成（Text-to-Speech, TTS）领域，现有数据集多以孤立语句为单元，缺乏对对话语境的有效建模，导致生成的语音难以体现交流中的上下文连贯性与情感动态。为填补这一空白，韩国科学技术院（KAIST）与KRAFTON公司的研究团队于2022年提出了DailyTalk数据集，旨在为对话式TTS提供高质量、开放获取的语音资源。该数据集基于开放域对话语料库DailyDialog，从中筛选并录制了2541段双人对话，保留了原始语料的情感、对话行为与主题标注，并采用男女双人同步录音的方式，确保语音的自然互动性。DailyTalk的发布推动了对话上下文感知的TTS研究，为构建更具表现力的语音助手与交互系统奠定了数据基础。

当前挑战

DailyTalk所面临的挑战体现在两个层面。在领域问题层面，对话式TTS需解决上下文信息建模的难题，即如何使模型在生成当前语句时有效利用历史对话中的语义、情感与韵律线索，避免语音表达脱离语境。现有模型如FastSpeech2缺乏对话记忆机制，而引入上下文编码器的基线模型虽能捕捉语境，却因模型复杂度增加导致合成语音的自然度略有下降。在数据集构建层面，挑战包括：从DailyDialog中筛选出具有充分上下文长度的对话（需超过5轮），并保证双人录音的性别平衡与情感标注一致性；同时，要求演员在录音时即兴添加填充词（如uh、umm）以模拟真实对话，但需后续通过人工校正对齐脚本与语音，确保数据质量与标注准确性。

常用场景

经典使用场景

DailyTalk作为首个面向对话式文本到语音（TTS）的公开高质量语音数据集，其经典使用场景在于训练和评估能够感知对话上下文的语音合成模型。该数据集从DailyDialog中精心筛选并录制了2541段双人对话，每段对话均包含丰富的标注信息如情感、对话行为和主题，并采用双人同步录音的方式保留自然对话的韵律与交互特性。研究者可基于此数据集构建非自回归TTS基线模型，通过引入历史对话信息作为条件输入，使合成语音在单句质量和整段对话的语境连贯性上均取得优异表现，从而推动对话式TTS从孤立发音向上下文感知的范式转变。

实际应用

在实际应用中，DailyTalk赋能了一系列需要自然对话交互的智能系统，如语音助手、客服机器人、虚拟角色对话及多模态人机交互界面。例如在用户-系统模拟场景中，系统可依据用户的历史语音实时合成具有语境契合度的回复，使对话不再机械生硬。此外，该数据集支持填充词（如uh、umm）的建模，使合成语音更贴近真实交流中的犹豫与思考，从而显著提升用户沉浸感。这些应用场景覆盖智能家居、车载语音、教育辅导及娱乐社交等领域，推动语音交互从指令式响应迈向具有社交智能的对话式体验。

衍生相关工作

DailyTalk的发布催生了多项衍生研究工作，主要集中在上下文感知语音合成与对话评估方法的创新。其基线模型基于FastSpeech2架构并融合对话历史编码器，启发了后续研究如利用跨语句韵律建模、情感自适应生成以及多说话人对话合成的探索。同时，论文提出的对话级MOS、成对MOS及用户-系统模拟MOS等评估指标，为衡量TTS模型在对话语境下的自然度与上下文保持能力提供了新范式。这些工作不仅扩展了DailyTalk在情感语音、自发风格合成及多语言对话TTS中的应用边界，也促进了语音社区对对话式合成评估体系的标准化建设。