eval-stt-officiels

EvalSTT — Corpus officiels (FR) 是一个用于评估语音转文本（ASR）模型在法国行政语言上的公开数据集，由法国国家数字化与信息技术部（DINUM）的“国家人工智能”部门构建。该数据集旨在提高模型评估的透明度，允许复现词错误率（WER）和语义严重性等度量。数据集内容聚焦于官方行政语言，包括官方演讲、公开讲话和政府质询会议。具体包含8个录音文件（每个时长约11分钟以内），分为两类：5个短篇官方演讲（时长≤10分钟），其参考转录为“平滑”版本，即清理了不流利部分的机构性逐字稿或字幕；3个政府质询会议录音（约10分钟，来自法国国民议会），其参考转录为“严格逐字”版本，保留了说话中的不流利、重复和错误起始。数据以音频文件（.mp3格式）和对应的参考转录文本文件（.txt格式）提供。需要注意的是，数据集中并存两种不同的参考转录制度（平滑与严格逐字），因此不应在绝对意义上比较来自这两类数据的WER，也不应与使用不同转录制度的第三方语料库进行直接比较。所有数据均来源于官方公共渠道（如info.gouv.fr、SIG、国民议会、参议院、爱丽舍宫），并采用Etalab 2.0开放许可证发布，仅包含公共领域数据。EvalSTT — Corpus officiels (FR) is a public dataset designed for evaluating speech-to-text (ASR) models on French administrative language, constructed by the National Artificial Intelligence department of the French Directorate for Digital and Information Technology (DINUM). The dataset aims to enhance transparency in model evaluation, allowing for the reproduction of metrics such as Word Error Rate (WER) and semantic severity. It focuses on official administrative language, including official speeches, public addresses, and government inquiry sessions. Specifically, it contains 8 audio files (each under approximately 11 minutes), categorized into two types: 5 short official speeches (duration ≤ 10 minutes) with reference transcriptions in a smoothed version, which are institutional verbatim transcripts or subtitles cleaned of disfluencies; and 3 recordings of government inquiry sessions (about 10 minutes, from the French National Assembly) with reference transcriptions in a strict verbatim version, preserving disfluencies, repetitions, and false starts in speech. The data is provided as audio files (.mp3 format) and corresponding reference transcription text files (.txt format). It is important to note that the dataset includes two different reference transcription regimes (smoothed and strict verbatim), so WER from these two data types should not be compared in absolute terms, nor should direct comparisons be made with third-party corpora using different transcription regimes. All data is sourced from official public channels (e.g., info.gouv.fr, SIG, National Assembly, Senate, Élysée Palace) and released under the Etalab 2.0 open license, containing only public domain data.

原始信息汇总

数据集概述

EvalSTT — Corpus officiels (FR) 是一个用于评估法语语音转文字（speech-to-text）模型性能的公共数据集，专注于法国行政语言，包括官方演讲、公开讲话和政府质询会议。由法国政府人工智能部门（DINUM） 构建，主要用于模型评估的透明性和可复现性。

数据集规模与格式

• 规模：样本数量小于1000（具体为8个录音文件）。
• 格式：
  • audio/<id>.mp3：音频源文件（公共演讲/会议）。
  • ground_truth/<id>.txt：对应的参考转录文本。
• 时长：每个录音不超过约11分钟，时长均匀。

数据内容

• 5个官方简短演讲（≤10分钟）：参考转录为平滑版（即清理了不流畅部分，如副标题或官方机构提供的规范文本）。
• 3个政府质询会议（约10分钟，来自法国国民议会）：参考转录为严格逐字版（保留口误、重复、虚假开头等口语特征）。

重要方法提示

数据集中存在两种不同的参考转录标准，绝对WER（词错误率）值不能在不同标准间直接比较：

• 官方演讲（5个）：使用平滑版参考（非严格逐字），WER绝对值会偏高，但所有模型在此标准下偏差一致。
• 政府质询（3个）：使用严格逐字版参考（基于实际音频重建，而非国民议会的正式记录），保留所有口语特征。

数据范围与来源

• 数据范围：仅包含公共领域的数据。
• 来源：音频和参考转录来自官方公共来源（info.gouv.fr、SIG、法国国民议会、参议院、爱丽舍宫）。
• 许可证：Etalab 2.0（法国开放许可证）。

搜集汇总

数据集介绍

构建方式

EvalSTT — Corpus officiels (FR) 是一个专为评估法语自动语音识别（ASR）模型而构建的公共数据集，聚焦于法国行政领域的官方语言场景，涵盖总统演讲、内阁通报及国民议会质询等语料。该数据集由法国国家数字化转型局（DINUM）下属的“国家人工智能”（IA dans l'État）部门主导创建，旨在为ASR模型的性能评估提供标准化基准。数据集包含8段录音，每段时长不超过11分钟且长度均匀，其中5段为短篇官方演讲（≤10分钟），采用经过编辑的“平滑化”参考转录；另外3段为国民议会的政府质询会议（约10分钟），采用严格的“逐字”对照转录。数据来源均为公开的官方资源，包括info.gouv.fr、SIG、国民议会和爱丽舍宫等，并采用Etalab 2.0开放许可发布。

特点

该数据集的核心特点在于其双重参照体系设计：5个官方演讲的参考转录为“平滑化”版本，即清除了口语中的犹豫、重复和杂音，相当于字幕或官方纪要；而3个政府质询会议的参考转录则为“逐字”版本，精准保留了说话者的所有非流利现象（如重复、修正和填充词）。这种区分使得数据内部与外部比较时需谨慎，因为两者WER的计算基准本质不同。此外，数据集规模小巧精致（少于1000条记录），但聚焦于高难度的行政领域口语，具有极高的领域针对性和评估透明度，发布者明确建议不应与采用其他参照制式的第三方语料进行绝对WER比较。

使用方法

使用此数据集进行模型评估时，研究者需按音频文件（MP3格式）与对应的参考转录文本配对使用。代码应分别计算5段官方演讲和3段政府质询的WER（词错误率），并考虑语义严重性指标以评估错误的实际影响。由于两种参考制式存在差异，建议在分析报告中将两类结果分开呈现，而非合并计算全局WER。数据加载可采用HuggingFace的datasets库直接拉取，或手动下载audio和ground_truth两个子目录。评测过程中须留意官方演讲的平滑转录会系统性抬高WER，但这一偏差对所有模型同等作用，因此模型间的相对排名依然具有可比性。

背景与挑战

背景概述

EvalSTT — Corpus officiels (FR) 数据集由法国数字事务部（DINUM）的“国家人工智能”部门于近期创建，专注于评估法语自动语音识别（ASR）模型在行政语言场景下的性能。核心研究问题在于衡量这些模型对法国官方话语、公开演讲及政府质询等正式口头文本的转录准确性。该数据集包含8个平均时长约11分钟的公共录音，涵盖5段平滑处理过的官方演讲和3段严格逐字的国民议会质询会话，为法国公共部门的AI透明化评估提供了标准化基准，对推动政务领域ASR技术的可信应用具有重要影响力。

当前挑战

该数据集面临的挑战首先在于所解决的领域问题：法语行政语言具有高度规范性、专业术语密集且包含复杂句式，而ASR模型常因背景噪声、演讲者口音和语速变化导致性能下降，尤其是对官方演讲中非严格逐字的平滑文本与严格逐字的会议记录之间的转录差异难以统一评估。构建过程中，挑战体现在参考文本的双重标准设计上：5段演讲采用经清理的机构字幕作为参考，将WER绝对值抬高但保持了模型间比较的公平性；而3段政府质询则需人工精确重建含口齿不清、重复和重新起句的严格逐字转录，回避了国民议会仅作重写的正式会议记录，这要求构建者克服繁琐的时序对齐与主观校正困难，确保评估的可重复性和客观性。

常用场景

经典使用场景

EvalSTT — Corpus officiels (FR) 数据集专为评估法语自动语音识别（ASR）模型在正式行政语言场景下的性能而构建。其经典用途在于度量模型对法语官方演讲、政府公开声明以及国民议会质询会议等正式发言的转写准确率。该数据集包含两类具有不同转录标准的音频：一是经过语言平滑处理的官方演讲，二是严格保留语气词与重复的议会质询逐字记录。这种双重参考标准设计使其能够全面测试ASR模型在结构化拟稿发言与自然即兴辩论之间的适应性，成为政府机构评估语音识别技术的权威基准。

实际应用

在实际应用中，该数据集直接服务于法国公共部门的数字化转型进程，尤其是用于验证和优化面向公民服务的语音交互系统。政府部门可利用EvalSTT测试并认证为听证会记录、议会报道自动生成及官方新闻发布等场景部署的ASR模型。此外，它有助于提升政务助手类应用的识别精度，确保在处理涉及政策术语、法律条文及典型口语衔接模式的长段政务音频时，系统能够产出低错误率的转写结果。数据集强调的透明性原则也为政府采购语音技术产品提供了客观的横向评测依据，减少了在关键公共服务场景中因模型不可靠导致的信息失真风险。

衍生相关工作

围绕EvalSTT数据集，相关学术与工程工作主要集中开发与验证能够适应双参考标准的声学与语言模型。典型的衍生工作包括：探索如何利用平滑化参考与逐字化参考之间的差异来设计正则化训练策略；构建针对法语政治辩论专用术语的词汇增强模块；以及研究跨域特征对齐方法，以减少正式演讲与非正式会话训练资源之间的领域迁移误差。此外，该数据集的发布也催生了针对法国公共部门听觉数据的噪声鲁棒语音前端处理管线研究工作，帮助优化复杂声学环境（如议会大厅混响、多人辩论重叠语音）下的转写系统架构。