meituan/Audio-Turing-Test-Corpus

这是一个包含500个文本转录样本的多维中文语音转录数据集，用于评估机器生成语音的逼真度和自然度。数据集覆盖了中英混合、副语言特征和情感、特殊字符和数字、多音字以及古典中文诗歌/散文等五个语言和风格维度，并包括用于注意力检查的104个“陷阱”转录样本。

This is a multidimensional Chinese speech transcription dataset containing 500 textual transcripts, designed to evaluate the realism and naturalness of machine-generated speech. The dataset spans five linguistic and stylistic dimensions, including Chinese-English code-switching, paralinguistic features and emotions, special characters and numerals, polyphonic characters, and classical Chinese poetry/prose, and includes 104 trap transcripts for attentiveness checks during human evaluation.

搜集汇总

数据集介绍

构建方式

在语音合成评估领域，缺乏统一标准化协议与多系统横向比较困难的问题长期存在。为此，Audio Turing Test (ATT) 基准应运而生，旨在通过模拟图灵测试范式，评估机器合成语音能否欺骗人类听者。该数据集精心构建了500条白盒文本转录，作为完整1000条样本基准的白盒子集公开发布，另有500条黑盒样本托管于私有平台以防数据污染。转录内容覆盖中文语音合成评估所需的五个关键语言与风格维度：中英代码切换、副语言特征与情感、特殊字符与数字、多音字以及古诗词文。每个维度严格包含100条经人工审核的转录。此外，数据集还包含104条用于注意力检查的“陷阱”转录，其中35条为刻意设计的劣质合成文本，69条为真实人类录音脚本，确保评估者能可靠区分人声与合成声。

特点

该数据集的核心特点在于其多维度的语言覆盖与严谨的评估机制设计。五个维度精准对标中文语音合成中的典型难点，如中英混杂表达、情感韵律变化、多音字歧义消解及古风文体韵脚处理，全面考验模型的语言理解与韵律生成能力。白盒与黑盒的分离设计有效维护了基准的长期公正性，防止数据泄露导致评估失效。陷阱转录的引入更是一大亮点，通过人为植入的瑕疵文本与真实人类脚本，构建起衡量听者专注度与模型真实自然度的双重标尺。每一条转录均附带唯一ID、文本内容、维度标签及场景标识，结构清晰，便于研究者灵活筛选特定子集进行针对性测试。

使用方法

研究者可依据该数据集开展端到端的语音合成系统评估流程。首先，将转录文本中的占位符（如[PHONE_MASK]、[EMAIL_MASK]）替换为实际内容，输入待评估的TTS模型生成语音。随后，利用官方提供的Auto-ATT评估模型（基于Qwen2-Audio-7B训练）对生成音频进行自动评分，快速量化系统在人类相似度与自然度上的表现。最终，将模型得分与论文中已评估TTS系统的公开分数以及陷阱音频片段进行比对，完成基准排名。数据以JSONL格式提供，包含normal和trap两个子集，用户可通过HuggingFace Datasets库直接加载，或按行解析JSON文件进行自定义处理。

背景与挑战

背景概述

在语音合成领域，如何客观、可靠地评估合成语音的自然度和人类相似度一直是核心难题。传统评估方法多依赖主观评分或客观指标，但往往缺乏统一标准，难以在多个系统间进行公平比较。为此，美团研究团队于2025年发布了Audio Turing Test（ATT）语料库，由王希怀、赵子逸等研究人员主导，旨在构建一种类似“图灵测试”的评估框架。该数据集包含500条中文文本转录，覆盖中英混合、副语言特征与情感、特殊字符与数字、多音字及古典诗文五个关键维度，用于检验机器合成语音能否欺骗人类听众。这一资源的提出，为文本到语音系统的标准化评估提供了重要基准，推动了合成语音与真实语音界限探索的进程。

当前挑战

该数据集所解决的领域问题在于，现有TTS评估缺乏统一协议，导致不同系统间难以横向对比，且人工评估成本高昂。构建过程中，团队需应对数据污染风险，因此仅公开白盒子集，而将黑盒子集私下托管以保证基准的长期有效性。同时，语料需精心设计以覆盖汉语的复杂语言现象，如多音字歧义和古典诗文的韵律特征，这对转录的准确性和代表性提出高要求。此外，为提升评估的可信度，数据集还包含104条“陷阱”转录，用于检测评估者的注意力，确保人工与机器语音的区分可靠性，这增加了数据标注和验证的复杂性。

常用场景

经典使用场景

在语音合成（Text-to-Speech, TTS）系统的评估领域，该数据集的核心应用场景是作为“音频图灵测试”的标准语料库。研究者通过将数据集中涵盖中英混合、副语言特征与情感表达、特殊字符与数字、多音字以及古典诗词散文等五类高难度中文文本输入TTS系统生成语音，随后组织人类听者进行盲听评判，用以检测合成语音是否能够以假乱真地媲美真人发音。这一范式为TTS系统的自然度与类人化水平提供了量化的基准测试框架。

实际应用

在实际应用中，该数据集直接服务于智能语音助手、有声读物生成、虚拟主播、导航播报等需要高自然度语音合成的商业场景。企业可利用此语料库对自研TTS模型进行压力测试，重点检验其在处理中文特有语言现象（如多音字歧义、中英混杂、情感韵律）时的表现，从而针对性优化合成效果。此外，该数据集的“陷阱”文本设计可用于检测和过滤低质量合成语音，保障产品上线后的用户体验。

衍生相关工作

基于该数据集，研究团队进一步衍生出Auto-ATT模型，该模型以Qwen2-Audio-7B为基座，通过私有评估数据微调，实现了模型即裁判（Model-as-a-Judge）的自动化TTS评估范式，大幅降低了对人工评测的依赖。此外，该工作还衍生出包含合成音频样本的完整评测集合，为后续研究提供了可复现的标杆。这一系列工作共同构建了从数据集、评估协议到自动化模型的完整TTS评测生态，启发后续研究者探索更细粒度的语音自然度分析与跨语言图灵测试框架。