AgentPublic/eval-stt-officiels

EvalSTT — 官方语料库（法语）是一个公共评估语料库，用于评估语音转文本模型在法国行政语言上的表现，包括官方演讲、公开讲话和政府质询。该语料库由法国国家数字事务局（DINUM）的国家人工智能部门构建，旨在评估语音转文本模型。数据集发布是为了透明性：它记录了用于评估的数据集，并允许复现测量结果（如词错误率WER和语义严重性）。内容包括音频文件和参考转录，共13条记录：5条短演讲（≤10分钟）、5条长演讲（15-39分钟）和3条政府质询会议。方法学警告指出参考转录是平滑的（基于机构字幕或笔录），已清理不流畅部分，因此非严格逐字记录，这会导致绝对WER偏高，但所有比较模型的偏差相同。数据集仅包含公共数据，音频和参考来源自官方公共资源（如info.gouv.fr、SIG、国民议会、参议院、爱丽舍宫），使用Etalab 2.0开放许可证。EvalSTT — Corpus officiels (FR) is a public evaluation corpus for speech-to-text models on French administrative language: official speeches, public addresses, and government questions. It is constituted by the AI in the State department (DINUM) as part of the evaluation of speech-to-text models. This dataset is published for transparency: it documents the datasets used for our evaluations and allows reproducing measurements (WER, semantic severity). Content includes audio files and reference transcriptions, with 13 recordings: 5 short speeches (≤10 min), 5 long-form speeches (15–39 min), and 3 government question sessions. Methodological caution notes that references are smoothed (institutional subtitles/transcripts) with disfluencies cleaned, thus not strictly verbatim, which raises absolute WER but bias is identical for all compared models. The dataset contains only public data, sourced from official public sources (info.gouv.fr, SIG, National Assembly, Senate, Élysée) under Etalab 2.0 license.

搜集汇总

数据集介绍

构建方式

EvalSTT — Corpus officiels (FR)是一个专为评估法语语音识别模型性能而设计的公开数据集，由法国数字事务部际局（DINUM）下属的“国家人工智能”团队构建。该数据集聚焦于法国行政领域的官方语言，涵盖官方演讲、公开讲话及政府质询会议等多种场景。构建过程中，团队从info.gouv.fr、国民议会、参议院及爱丽舍宫等官方公开渠道收集音频素材，并依据机构提供的字幕或逐字记录（SIG、info.gouv.fr、会议纪要）整理出经过“平滑处理”的参考转录文本，即对口语中的不流畅现象进行了清理，从而形成非严格逐字稿的标注基准。数据集共包含13个录音文件，具体分为5段短篇演讲（时长不超过10分钟）、5段长篇演讲（15至39分钟）以及3段政府质询会议录音，每个样本均对应单独的音频文件与参考转录文本。

特点

该数据集的核心特点在于其专注于法国行政官方语言的评估场景，为语音识别模型在正式、规范语境下的表现提供了高针对性的测试基准。所有数据均源自公共领域，确保了使用的合法性与透明度。其独特之处在于参考文本采用了“平滑化”处理方式，即剔除了口语中的犹豫、重复等不流畅现象，这使得模型在此数据集上计算出的词错误率（WER）绝对值会偏高，但该偏差对所有模型一致，因此不影响模型间的相对比较。这样的设计旨在评估模型对结构化、正式语言内容的转录能力，而非对口语原声的逐字还原能力，为行政领域的AI应用提供了更具实际意义的质量度量。

使用方法

该数据集主要用于语音识别模型的评估与横向比较，用户可直接通过Hugging Face平台下载使用。使用方式为：利用数据集中的音频文件（MP3格式）作为模型输入，生成转录结果，然后将其与对应的参考转录文本（TXT格式）进行对比，计算词错误率（WER）或语义严重性等指标来度量模型性能。需特别注意，由于参考文本经过了平滑处理，实测的WER值不宜与基于严格逐字稿数据集的结果进行绝对数值比较，但在同一数据集内部对不同模型进行相对排名是有效的。数据集规模较小（n<1K），适合作为快速验证或论文实验中的补充评估集。

背景与挑战

背景概述

EvalSTT — Corpus officiels (FR) 是法国政府数字化转型部门（DINUM）下辖的“国家人工智能”团队于近期构建的专用于评估法语自动语音识别（ASR）模型性能的公开数据集。该数据集聚焦于法国行政领域的正式语言，涵盖官方演讲、公开讲话及政府质询会议等场景，旨在为公共部门语音转录模型的透明度与可复现性评估提供标准基准。通过收录13段不同长度（短篇5段，长篇5段，质询3段）的音频及对应的“平滑化”参考转录文本，该数据集支持词错误率（WER）与语义严重性等核心指标的测量，有力推动了法语政务场景下语音技术的客观评测与模型迭代。

当前挑战

该数据集所解决的领域核心挑战在于，通用语音识别模型在面对正式、高规范性的法国行政语言时，常因语速、口音、专有名词及特殊句式而表现欠佳，亟需一个针对性的评测基准来识别模型在政务场景下的弱点。构建过程中面临的关键挑战包括：参考转录文本来源多样（字幕、官方速记、会议记录），需统一进行“平滑化”处理以消除口语非流畅现象，但这也导致其与严格逐字转录语料库存在系统性偏差，使得绝对WER值偏高，虽保证了模型间横向比较的一致性，却限制了跨语料库的直接对比。此外，数据集规模较小（仅13段音频），虽聚焦于高价值政务场景，但样本代表性有限，增加了评估结果泛化能力的潜在不确定性。

常用场景

经典使用场景

EvalSTT — Corpus officiels (FR) 是一个专门用于评估法语语音识别（Speech-to-Text）模型性能的公开语料库，其数据来源于法国公共行政领域的官方语音资料，包括正式演讲、公开讲话以及政府质询会议。该数据集由法国数字事务部（DINUM）的人工智能部门构建，旨在为法语语音识别模型提供标准化的评测基准。其经典使用场景包括衡量模型的词错误率（WER）以及语义严重性指标，尤其关注在正式、结构化法语语境下的转录准确性。该语料库包含13条录音，涵盖短篇和长篇演讲以及政府会议，为模型在不同长度和复杂度语音输入下的表现提供了全面评估框架。

衍生相关工作

EvalSTT数据集衍生了一系列相关研究工作，主要集中在法语语音识别模型的评测与优化。例如，研究者利用该语料库对比不同预训练模型（如Wav2Vec2、Whisper）在正式法语场景下的表现，分析其在词汇准确性和语义理解上的差异。此外，该数据集推动了针对官方语言的领域自适应方法开发，包括迁移学习、微调策略以及结合语言模型的后处理技术。在评估方法上，EvalSTT启发了更细粒度的度量指标研究，如结合语义严重性评分与WER的综合评估框架。这些衍生工作不仅提升了法语语音识别的学术研究深度，也为公共服务领域语音技术的部署提供了实证依据。

数据集最近研究

最新研究方向

该数据集聚焦于法语公共行政领域的语音转文本评估，近期研究前沿主要体现在政府数字化转型中对AI转录模型的透明度和可复现性要求。随着法国政府推动公共服务智能化，eval-stt-officiels作为官方语料库，专门用于评测模型在复杂议会发言、长篇演讲等场景下的表现，其‘平滑化’参考文本设计引发了对WER指标偏差的深入探讨。结合欧洲AI伦理监管趋势，该数据集在2023-2024年成为检验法语ASR模型在非严格逐字转录条件下语义保真度的关键基准，推动了轻量级模型在政务场景的落地验证，并促进了跨机构评估标准的统一。