k2-fsa/OpenDialog

OpenDialog是一个包含6.8k小时口语对话的数据集，其中包含1759小时中文数据和5074小时英文数据。该数据集在论文[ZipVoice-Dialog](https://arxiv.org/abs/2507.09318)中被介绍。数据集遵循cc-by-nc-4.0许可，并且在中国大陆用户可以通过https://www.modelscope.cn/datasets/k2-fsa/OpenDialog获取。

OpenDialog is a dataset containing 6.8 thousand hours of spoken dialogues, which includes 1759 hours of Chinese data and 5074 hours of English data. This dataset was introduced in the paper [ZipVoice-Dialog](https://arxiv.org/abs/2507.09318). The dataset is licensed under CC-BY-NC-4.0, and users in mainland China can access it via https://www.modelscope.cn/datasets/k2-fsa/OpenDialog.

搜集汇总

数据集介绍

构建方式

OpenDialog数据集源自野外真实语音数据，是首个大规模开源口语对话数据集，总时长高达6800小时。其构建过程基于非自回归流匹配方法，从海量自然对话录音中筛选并整合而成，确保了数据的真实性与多样性。数据集按语种划分为英语部分5074小时和中文部分1759小时，覆盖了两种主要语言的对话场景。这种构建方式不仅保留了原始语音的生态特征，还通过严格的筛选流程剔除了低质量片段，为后续的语音生成研究提供了坚实基础。

特点

OpenDialog数据集的核心特点在于其规模与开放性。作为首个公开的大规模口语对话数据集，它填补了该领域的空白，为语音合成和对话生成研究提供了前所未有的资源。其6800小时的总时长在同类数据集中居于领先地位，且语种平衡设计兼顾了英语和中文的广泛需求。此外，数据来源于真实世界对话，具备高度的自然性和语境连贯性，能够有效支撑非自回归语音生成模型的训练与评估，推动语音交互技术的进步。

使用方法

OpenDialog数据集主要用于文本到语音（TTS）任务，特别是非自回归口语对话生成场景。研究人员可将其直接用于训练基于流匹配的语音生成模型，如ZipVoice-Dialog框架。使用时，需从HuggingFace或ModelScope平台下载数据，并根据语种（英语或中文）进行划分。数据集提供原始音频文件，无需额外预处理即可接入标准TTS流水线。建议结合论文中的实验设置，采用分批次加载方式以适配大规模训练需求，从而充分发挥其6800小时数据的潜力。

背景与挑战

背景概述

在语音生成领域，构建自然流畅的对话式语音数据集历来是一项艰巨挑战，尤其是当目标涵盖多语言场景时。OpenDialog数据集由k2-fsa团队于2025年提出，相关研究发表于论文《ZipVoice-Dialog: Non-Autoregressive Spoken Dialogue Generation with Flow Matching》，主要研究人员包括Han Zhu、Wei Kang、Daniel Povey等来自学术界与工业界的专家。该数据集核心研究问题在于如何从野生语音数据中大规模提取并生成高质量的口语对话，以推动非自回归语音生成技术的发展。作为首个开源的大规模口语对话数据集，OpenDialog包含6800小时的双语语音（英语5074小时、中文1759小时），为语音对话生成、流匹配模型等前沿方向提供了关键数据支撑，显著提升了该领域研究的可复现性与跨语言泛化能力。

当前挑战

OpenDialog数据集所面对的挑战主要源于其核心研究问题与构建过程。在领域问题上，语音对话生成需要模型在缺乏明确文本边界的情况下，捕捉对话中自然的语速变化、情绪起伏与交互节奏，这与传统文本到语音任务中规整的朗读风格截然不同，对声学建模的韵律控制和实时交互性提出了更高要求。在构建过程中，从野生语音数据中提取对话片段面临数据清洗的艰巨任务，包括背景噪声抑制、说话人重叠分离以及多语言发音差异的归一化处理；同时，确保6800小时数据标注的一致性，特别是对话起止点的精准切分与语义完整性，需要耗费大量人工校验与算法迭代，这成为数据集规模扩展与质量保障之间的核心矛盾。

常用场景

经典使用场景

在语音交互与多模态对话系统飞速发展的当下，高质量、大规模的口语对话数据成为驱动模型性能跃升的关键瓶颈。OpenDialog作为首个从野外语音数据中提取的开源大规模口语对话数据集，以其6.8k小时的丰富语料（涵盖5074小时英文与1759小时中文），为文本到语音生成任务提供了前所未有的训练资源。其经典使用场景聚焦于非自回归口语对话生成，研究者可基于该数据集训练流匹配模型，实现自然流畅的对话语音合成，从而推动语音对话系统从文本化向拟人化交互的跨越。

衍生相关工作

围绕OpenDialog，学术界已涌现出一系列富有影响力的衍生工作。其核心论文《ZipVoice-Dialog: Non-Autoregressive Spoken Dialogue Generation with Flow Matching》首次将流匹配技术引入口语对话生成，开辟了非自回归语音合成的新范式。后续研究基于该数据集探索了多模态对话表征学习、语音风格迁移以及低资源场景下的对话生成优化，进一步拓展了数据集的应用边界，促进了语音交互领域的持续创新。

数据集最近研究

最新研究方向

在语音交互技术迅猛发展的当下，高质量对话数据集的匮乏成为制约口语对话系统突破的瓶颈。OpenDialog作为首个大规模开源口语对话数据集，以6800小时野外语音数据为基础，涵盖中英双语，为非自回归口语对话生成研究提供了关键支撑。该数据集与ZipVoice-Dialog模型协同发布，推动了流匹配技术在对话语音合成中的前沿探索，解决了传统自回归模型推理速度慢、自然度不足的痛点。其开源特性不仅降低了语音对话研究的门槛，更催化了人机交互、虚拟助手等领域的创新应用，对构建更流畅、更接近人类对话模式的语音生成系统具有里程碑式的意义。