amazon-agi/SIFT-50M

SIFT-50M是一个为指令微调和预训练语音-文本大型语言模型而设计的50万个示例的数据集。它由14K小时的公开语音语料库构建而成，并涵盖五种语言，包含语音理解的多样化方面和可控语音生成指令。数据集通过添加基于指令的问答对来增强现有的语音数据集，并提供了大约500万个可控语音生成的示例。

SIFT-50M is a 50-million-example dataset designed for instruction fine-tuning and pre-training of speech-text large language models (LLMs). It is built from 14K hours of publicly available speech corpora and spans five languages, covering diverse aspects of speech understanding and controllable speech generation instructions. The dataset augments existing speech datasets with instruction-based question-answer (QA) pairs for speech understanding and includes approximately 5 million examples for controllable speech generation.

搜集汇总

数据集介绍

构建方式

在语音与文本融合的模型训练领域，SIFT-50M数据集的构建体现了系统化与规模化的设计理念。该数据集源自三个公开语音语料库——多语言LibriSpeech、Common Voice Corpus 15以及VCTK语料库，总计涵盖14,000小时的语音素材。通过结合大型语言模型与现有专家模型，研究团队为原始语音数据生成了基于指令的问答对，覆盖封闭式问答、开放式问答及可控语音生成等多种任务类型，最终形成了包含5,000万条样本的大规模多语言指令微调数据集。

使用方法

为有效利用SIFT-50M数据集进行模型训练与评估，研究者可通过Hugging Face的datasets库便捷加载。使用过程中，需指定目标配置名称，例如closed_ended_acoustic_level、open_ended或controllable_generation，并可进一步选择训练集、验证集或专用评估集EvalSIFT进行加载。数据加载后，用户需依据data_source字段指示，从相应原始语料库中获取对应的音频文件，并更新样本中的audio_path路径，以构建完整的多模态训练实例。这种设计既保证了数据分发的合规性，也为灵活的实验设置提供了基础。

背景与挑战

背景概述

在语音与语言模型融合研究的前沿，SIFT-50M数据集应运而生，旨在推动语音指令微调技术的深度发展。该数据集由亚马逊AGI团队于2025年构建，核心研究聚焦于如何利用大规模多语言语音指令数据，有效训练能够同时理解语音内容并生成可控语音的混合模态大语言模型。它整合了来自MultiLingual LibriSpeech、Common Voice Corpus 15及VCTK Corpus等公开语料库的14000小时语音资源，通过大语言模型与专家模型自动生成丰富的指令-响应对，覆盖封闭式问答、开放式理解及可控语音生成等多种任务范式。这一数据集的发布，为构建端到端的语音语言通用智能体提供了关键的数据基石，显著促进了多模态对话系统与可控语音合成领域的算法创新与应用探索。

当前挑战

SIFT-50M数据集致力于解决语音-文本大语言模型在指令跟随与跨模态理解方面的核心挑战，其首要难题在于如何精准建模语音信号中的声学特征与语义内容的复杂对应关系，并生成符合指令要求的自然语言响应或可控语音。在构建过程中，研究团队面临多重挑战：一是大规模多语言语音数据的质量统一与对齐问题，需确保不同来源、不同口音与录音环境的语音片段在声学与文本层面具有一致的高标准；二是自动化生成指令-响应对时的语义保真度与多样性平衡，既要避免大语言模型引入的幻觉或偏差，又需覆盖广泛的语音理解与生成场景；三是数据格式的统一与高效组织，需设计既能兼容多种任务类型、又能便于模型训练与评估的灵活数据结构。

常用场景

经典使用场景

在语音与文本融合的智能模型研究领域，SIFT-50M数据集以其大规模、多语言和指令驱动的特性，成为训练语音文本大语言模型的经典资源。该数据集通过涵盖声学层面分析、内容理解、词语对齐及可控生成等多种任务类型，为模型提供了从语音感知到语义生成的端到端学习框架。研究者常利用其封闭式与开放式指令对，系统性地微调模型，以提升其在多轮对话、语音质量评估及跨模态推理等方面的综合能力。

解决学术问题

该数据集有效应对了语音语言模型研究中指令数据稀缺、跨模态对齐困难等核心挑战。通过构建涵盖五国语言、超过五千万条指令样本的语料，SIFT-50M为学术界提供了统一的基准，用以探索语音理解与生成任务中的泛化性、多语言迁移及可控合成等问题。其结构化标注促进了声学特征与语义内容之间的关联研究，推动了语音大模型在低资源语言上的性能突破，为多模态人工智能的理论发展奠定了数据基础。

实际应用

在实际应用层面，SIFT-50M支撑了智能语音助手、实时翻译系统及个性化语音合成等技术的开发。基于该数据集训练的模型能够理解用户语音指令的细微差别，实现高准确率的意图识别与情感分析，从而提升人机交互的自然度与效率。在教育和无障碍技术领域，其多语言能力有助于构建适应性更强的语音学习工具与辅助沟通系统，推动语音技术在全球化场景中的普惠性落地。

数据集最近研究

最新研究方向

在语音与文本大语言模型融合的浪潮中，SIFT-50M数据集凭借其五千万规模的指令微调样本，正成为推动语音理解与可控语音生成前沿探索的关键基石。该数据集通过整合声学层面、内容层面、词对齐及开放式问答等多维度任务，为构建能够处理多模态指令的语音大模型提供了丰富养分。当前研究热点聚焦于利用此类大规模指令数据，突破传统语音处理模型的局限，实现更精准的跨语言语音理解、情感可控的语音合成以及端到端的语音对话系统。其多语言覆盖与结构化指令设计，不仅加速了语音大模型的迭代与评估标准化进程，也为构建更具通用性和交互性的智能语音助手奠定了坚实的数据基础。