diarizers-community/ami_for_diarizationlm

该数据集包含多个特征字段，如参考文本(ref_text)、参考说话者(ref_spk)、假设文本(hyp_text)等，可能用于语音识别或自然语言处理任务。数据集分为训练集、验证集和测试集，分别包含136、18和16个示例。总下载大小为5312905字节，数据集总大小为15965299字节。

This dataset includes multiple feature fields such as reference text (ref_text), reference speaker (ref_spk), hypothesis text (hyp_text), etc., potentially used for speech recognition or natural language processing tasks. The dataset is divided into training, validation, and test sets, containing 136, 18, and 16 examples respectively. The total download size is 5312905 bytes, and the total dataset size is 15965299 bytes.

原始信息汇总

数据集概述

基本信息

• 名称: ami_for_diarizationlm
• 描述: diarizers-community/ami_for_diarizationlm 数据集，由 HF Datasets 社区贡献，托管在 HF Mirror 上。
• 别名: diarizers-community/ami_for_diarizationlm
• 创建者: diarizers-community
• 网址: https://hf-mirror.com/datasets/diarizers-community/ami_for_diarizationlm

数据格式

• 分布:

  • 类型: cr:FileObject

  • 名称: repo

  • 描述: HF Mirror git 仓库。

  • 内容 URL: https://hf-mirror.com/datasets/diarizers-community/ami_for_diarizationlm/tree/refs%2Fconvert%2Fparquet

  • 编码格式: git+https

  • SHA256: https://github.com/mlcommons/croissant/issues/80

  • 类型: cr:FileSet

  • 名称: parquet-files-for-config-default

  • 描述: 由 HF Mirror 转换的基础 Parquet 文件（参见：https://hf-mirror.com/docs/datasets-server/parquet）。

  • 包含于: repo

  • 编码格式: application/x-parquet

  • 包含: default//.parquet

数据集子集

• 类型: cr:RecordSet
• 名称: default
• 描述: diarizers-community/ami_for_diarizationlm - default 子集
  • 3 个分割: train, validation, test
  • 7 个跳过的列: ref_text, ref_spk, hyp_text, hyp_spk, utterance_id, ref_spk_degraded, hyp_spk_oracle

关键词

• < 1K
• parquet
• Text
• Datasets
• pandas
• Croissant
• 🇺🇸 Region: US

符合标准

• 标准: http://mlcommons.org/croissant/1.0

搜集汇总

数据集介绍

构建方式

在对话与说话人日志领域，精准的声纹识别与文本对齐是提升系统鲁棒性的关键。该数据集以AMI语料库为基础，通过精心设计的后处理流程构建而成。具体而言，它从原始会议录音中提取出参考文本（ref_text）与对应说话人标签（ref_spk），同时引入基于自动语音识别系统生成的假设文本（hyp_text）及其说话人分配（hyp_spk），从而形成一对参考与假设的对比结构。此外，数据集还包含了退化的参考说话人信息（ref_spk_degraded）和基于理想说话人日志的假设说话人标签（hyp_spk_oracle），以模拟实际应用中可能出现的识别误差与修复场景。最终，所有样本被划分为训练、验证与测试三个子集，分别包含136、18和16个实例。

特点

该数据集的核心特色在于其多维度的说话人信息设计。每一条样本均包含六个序列字段，其中utterance_id用于唯一标识话语单元，而ref_text与hyp_text的并列存在允许研究者直接评估语音识别错误对说话人日志的影响。尤为突出的是，ref_spk_degraded字段模拟了真实环境中说话人标签的噪声与丢失，而hyp_spk_oracle则提供了在理想日志条件下的假设说话人分配，这两者共同构成了一个从退化到修复的完整评估框架。这种结构使得数据集不仅可用于标准的说话人日志任务，还能支持对错误传播机制与鲁棒性算法的深入探索。

使用方法

使用该数据集时，研究者可通过Hugging Face Datasets库便捷加载默认配置下的数据。加载后，每个样本以字典形式呈现，包含前述六个序列字段，适用于序列标注或对比学习场景。对于说话人日志模型训练，可将ref_text与ref_spk作为监督信号，同时利用hyp_text模拟测试阶段的输入；对于错误分析，则可通过比较ref_spk_degraded与ref_spk的差异来设计去噪策略。数据集的划分已明确，建议在训练集上优化模型，在验证集上调参，并在测试集上报告最终性能，确保实验的可重复性与公平性。

背景与挑战

背景概述

在语音处理领域，说话人日志（Speaker Diarization）与语音识别（ASR）的联合优化逐渐成为研究热点，旨在解决“谁在何时说了什么”这一核心问题。diarizers-community/ami_for_diarizationlm 数据集正是为应对这一挑战而生，它基于经典的AMI语料库（2005年创建，由爱丁堡大学、IDIAP研究所等机构联合开发）进行改造，专注于说话人日志与语言模型的协同训练。该数据集包含136条训练样本、18条验证样本和16条测试样本，每条样本均提供参考文本（ref_text）、参考说话人（ref_spk）、假设文本（hyp_text）及假设说话人（hyp_spk）等多维标注，并引入了退化参考说话人（ref_spk_degraded）与神假设说话人（hyp_spk_oracle）字段，为评估ASR错误对说话人日志的影响提供了标准化基准。其发布推动了端到端说话人日志系统的发展，成为多说话人场景下语音理解任务的重要测试平台。

当前挑战

当前数据集面临的核心挑战源于领域问题的复杂性：真实对话场景中说话人重叠、短句交错及背景噪声的普遍存在，使得说话人日志系统难以准确分割并分配语音片段，尤其当ASR系统引入转录错误时，说话人边界与文本内容的关联性进一步退化。此外，构建过程中需克服标注一致性难题——AMI原始语料中多人对话的说话人标签依赖人工转写，而生成退化参考说话人字段时需模拟ASR错误模式，如何平衡错误多样性（如插入、删除、替换）与真实分布成为技术瓶颈。数据规模有限（仅136条训练样本）也限制了深度学习模型对长尾说话人模式的泛化能力，导致在未见过的声学环境或方言条件下性能显著下降。

常用场景

经典使用场景

在说话人日志与语言模型联合优化（DiarizationLM）的学术浪潮中，AMI会议语料库被重新塑形为ami_for_diarizationlm数据集，其经典使用场景聚焦于端到端的多说话人语音识别与说话人日志的协同训练。该数据集通过提供参考文本、参考说话人标签、假设文本及假设说话人标签等多维对齐特征，为研究者构建统一的序列标注框架提供了基准，使得模型能够在同一学习范式中同时捕捉语音内容与说话人身份的时空动态变化。

实际应用

在实际应用中，该数据集赋能了智能会议纪要系统、实时字幕生成工具以及多模态交互助手的核心算法迭代。例如，企业级会议平台可利用基于该数据集训练的模型，精准区分并转写多位与会者的发言，自动生成带有说话人归属的会议记录，从而大幅提升信息检索与决策效率。此外，该数据集还支撑了远程教育中课堂讨论的自动分析，以及法律听证会录音的说话人分离与文本化处理。

衍生相关工作

基于ami_for_diarizationlm数据集，学术界涌现了多项里程碑式工作，包括DiarizationLM框架的提出者所构建的联合训练基线模型，以及后续的说话人自适应注意力机制、多任务学习架构等。这些衍生工作进一步探索了如何利用该数据集的降解标签模拟实际系统中的识别错误，从而训练出对噪声与说话人重叠更具鲁棒性的模型，并催生了若干开源工具库，如NeMo与SpeechBrain中的说话人日志模块的标准化评测流程。