AIDC-AI/Marco_Longspeech

Marco-LongSpeech是一个多任务长语音理解数据集，包含8种不同的语音理解任务，旨在对大型语言模型在长音频输入上的性能进行基准测试。

Marco-LongSpeech is a multi-task long speech understanding dataset containing 8 different speech understanding tasks designed to benchmark Large Language Models on lengthy audio inputs.

搜集汇总

数据集介绍

构建方式

Marco-LongSpeech数据集旨在填补长语音理解领域的基准空白，通过整合8种不同的语音理解任务，构建了一个多任务长语音理解数据集。其构建过程基于大规模音频资源的精心筛选与标注，音频来源于三个子集（LongSpeech_p1至p3），共计101,822条独特音频文件。每条音频均与对应的问答指令配对，形成了涵盖自动语音识别（ASR）、时序相对问答、摘要生成、内容分离、情感分析、说话人计数、翻译及语言检测等任务的JSONL格式数据。训练集、验证集与测试集按比例划分，总计超过20万条样本，确保了任务多样性与数据规模的平衡。

特点

该数据集的核心特点在于其多任务综合性与长音频理解挑战。它专为评估大型语言模型在长时语音输入上的能力而设计，每个任务均针对语音理解的不同维度：ASR与翻译测试转写精度，摘要与内容分离考察语义整合，时间定位与情感分析则检验深度推理。音频文件以WAV格式存储，时长不一，覆盖中英文等多种语言。数据集结构清晰，任务目录独立，元数据与音频路径完整，便于研究人员聚焦特定任务或进行多任务联合训练，从而推动长语音理解技术的全面发展。

使用方法

用户可通过HuggingFace Datasets库便捷加载该数据集，只需指定任务名称（如ASR）及其对应的JSONL文件路径。例如，使用`load_dataset`函数并传入训练、验证与测试文件的相对路径即可完成加载。音频文件的访问需注意路径设置，用户应下载对应的LongSpeech_p*子集文件夹，并通过解析JSONL中的`audio`字段获取完整路径，配合常规音频处理库进行读取。数据集设计遵循对话式格式，指令与回答清晰对应，支持直接用于模型微调或评测，降低了使用门槛。

背景与挑战

背景概述

Marco-LongSpeech数据集由腾讯AI Lab等机构的研究人员于2026年创建，旨在解决大型语言模型在处理长语音输入时面临的性能瓶颈。随着语音交互技术的飞速发展，传统数据集多聚焦于短时长、单一任务的语音理解，难以满足现实场景中对多任务、长音频理解的需求。该数据集涵盖了自动语音识别、摘要生成、时间推理、情感分析等8项核心任务，共包含超过20万条样本，为评估模型在长语音上的综合理解能力提供了标准化基准。其发布对推动语音大模型在会议记录、多语言翻译、情感分析等复杂应用中的发展具有重要意义。

当前挑战

该数据集所解决的领域问题在于：现有语音数据集往往局限于短音频和单一任务，无法衡量模型在长音频（如会议、讲座）中处理多任务复杂性的能力，尤其是在需要时间定位、内容连贯性检测和情感判断的场景下。构建过程中，研究人员面临两大挑战：一是如何从海量语音数据中筛选并生成标注准确、任务多样的长音频样本，确保覆盖中英文等多语言环境；二是设计统一的数据格式和任务模板，使得不同任务（如ASR与时间问答）能够在同一音频上有效对齐，同时保持数据规模和可扩展性，这对数据清洗和标注质量提出了极高要求。

常用场景

经典使用场景

Marco-LongSpeech数据集专为评估和推动大语言模型在长音频输入上的理解能力而构建，涵盖了自动语音识别（ASR）、语音到文本翻译、摘要生成、内容分离、情感问答、说话人计数、语言检测及时间相对问答等八项核心任务。这些任务从转录精准度、语义理解、时序推理到多语言处理，全面检验模型对持续数分钟乃至更长时间语音片段的综合解析能力，因此成为长语音理解领域不可或缺的基准测试平台。研究者通常利用该数据集对现有语音大模型进行多维度性能评估，并在此基础上探索新型架构与训练策略，以突破模型在处理长序列音频时的上下文窗口限制与信息衰减问题。

衍生相关工作

自发布以来，Marco-LongSpeech催生了一系列具有影响力的研究工作。一方面，该数据集被广泛用作基准，促进了诸如LongSpeech-LLM等专用长语音大语言模型的开发，这些模型通过引入分段注意力机制和音频时间戳编码，显著提升了对超长语音的处理能力。另一方面，基于数据集的八任务结构，研究者提出了多任务联合训练框架，如语音理解通用预训练范式，有效增强了不同任务间的知识迁移。此外，数据集的时序问答任务还激发了针对语音时间定位与推理的专项研究，衍生出多种时序记忆网络与对比学习算法。这些工作共同推动了长语音理解领域从单任务孤立优化向系统性、多维度协同发展的转型升级。

数据集最近研究

最新研究方向

在长语音理解的前沿探索中，Marco_Longspeech数据集开辟了多任务基准评估的新维度。该数据集整合了自动语音识别、时序问答、摘要生成、情感分析、说话人计数及语种检测等八类复杂任务，旨在突破大语言模型处理冗长音频时的推理与理解瓶颈。其设计紧扣会议记录、多轮对话、多语混合等真实场景中的长程依赖建模挑战，尤其通过内容分离与时间定位任务，检验模型在长音频中识别语义连贯性和时间秩序的能力。这一资源不仅为多模态语音大模型提供了标准化的评测平台，也推动了语音理解从短时片段向全篇语义理解的范式跃迁，对智能会议系统、无障碍交互及跨语种通信等应用具有重要赋能意义。