whisper-gemini-voice-annotations
收藏资源简介：
本数据集为 LAION Gemini 语音注释集合，由 Christoph Schuhmann / LAION 于 2026 年发布，采用 CC BY 4.0 许可证。数据集包含 65,163 个唯一音频 SHA256 身份，划分为训练集 58,380、验证集 3,239 和测试集 3,544。所有注释均通过 Gemini 3.8 Flash 模型生成，并非人工真实标注。每个样本包含转录文本、整个音频和导演字幕、40 个 EmoNet 情感强度（0-4 等级）、57 个 VoiceNet 维度（多数 0-6 等级）、真实性评分（0-6）、声音爆发混合评分（0-10）、爆发计数以及标记事件（包括精确的起始和结束秒数）。此外，还包含来自教师模型的额外输出：Empathic Insight Voice Plus、AudioBox、DNSMOS、VoiceCLAP 以及 Orange 音色/身份嵌入（128 维和 250 维）。数据来源包括四个上游数据集：S1 Scaling Ladder（42,701 条）、LAIONs Got Talent raw（10,917 条）、Balanced 40×3k（3,979 条）和 Voice Annotation POC（7,566 条）。其中 52,036 条包含 MP3 音频，13,127 条仅为注释记录。数据以 WebDataset TAR 分片形式组织（共 516 个分片），包含 JSON（注释和元数据）、NPZ（嵌入向量）和 MP3 文件。典型应用包括音频分类、情感识别、说话人嵌入、音频质量评估、声音事件定位等。用户应谨慎使用这些模型注释，在需要人工标注有效性的场景中需先进行审查。
This dataset is the LAION Gemini voice annotations collection, released by Christoph Schuhmann / LAION in 2026 under the CC BY 4.0 license. It contains 65,163 unique audio SHA256 identities, split into a training set (58,380), validation set (3,239), and test set (3,544). All annotations were generated by the Gemini 3.8 Flash model and are not real human annotations. Each sample includes: transcript text, full audio and director captions, 40 EmoNet emotion intensities (0-4 levels), 57 VoiceNet dimensions (mostly 0-6 levels), authenticity score (0-6), voice burst mixture score (0-10), burst count, and labeled events (including precise start and end seconds). It also includes additional outputs from teacher models: Empathic Insight Voice Plus, AudioBox, DNSMOS, VoiceCLAP, and Orange timbre/identity embeddings (128-dimensional and 250-dimensional). Data sources include four upstream datasets: S1 Scaling Ladder (42,701), LAIONs Got Talent raw (10,917), Balanced 40×3k (3,979), and Voice Annotation POC (7,566). Of these, 52,036 contain MP3 audio, while 13,127 are annotation-only records. The data is organized as WebDataset TAR shards (516 shards in total), containing JSON (annotations and metadata), NPZ (embedding vectors), and MP3 files. Typical applications include audio classification, emotion recognition, speaker embeddings, audio quality assessment, sound event localization, etc. Users should use these model annotations with caution and review them before scenarios requiring human annotation validity.
LAION Gemini voice annotations: emotion, delivery, quality and vocal events
基本信息
- 数据集地址：https://huggingface.co/datasets/laion/whisper-gemini-voice-annotations
- 作者/机构：Christoph Schuhmann / LAION
- 发布时间：2026-10-07
- 许可证：CC BY 4.0（适用于新的标注文件及包含的源音频）
- 语言：德语（de）、英语（en）、西班牙语（es）、法语（fr）
- 任务类别：audio-classification、audio-to-audio
- 标签：emotion、vocal-burst-localization、speaker-embeddings、audio-quality、gemini-annotations、webdataset
数据集概述
- 该数据集是用于两轮次 Humaneness Ears Base and Medium 发布的已验证标注池。
- 数据集包含 65,163 个唯一 SHA256 音频标识，其中训练/验证/测试数量分别为 58,380 / 3,239 / 3,544。
- 排除了 1,036 个被屏蔽或不符合 schema 的 Gemini 响应；它们不是负样本或零值情感。
- 每个有效样本包含 Gemini 3.8 Flash 响应，含转录、整体音频与导演描述、40 个同时的 EmoNet 情感强度、57 个 VoiceNet 维度、真实度（genuineness）、vocal-burst blend、爆发计数以及带明确起止秒数的标注事件。
- 其他教师输出包括 Empathic Insight Voice Plus、AudioBox、DNSMOS、VoiceCLAP 和 Orange 音色/身份嵌入。
- 这些为模型标注，非人类真值；在需要人类标签有效性的应用前应审查标注值。
来源与音频权利
| 来源家族 | 本次发布中的有效唯一记录数 | 音频是否在 TAR 中 | 归属与权利 |
|---|---|---|---|
| S1 Scaling Ladder | 42,701 | 仅单独标记为 CC BY 4.0 的记录 | S1 整体为混合许可；每条已发布音频记录保留其原始逐样本许可。 |
| LAIONs Got Talent raw | 10,917 | 是 | LAION 发布者已将本衍生发布置于 CC BY 4.0 下。每个样本保留其声音、情感、语言、源压缩包和源 ID。 |
| Balanced 40×3k | 3,979 | 否 | 仅分发新产生的标注和嵌入输出。上游仓库在其 Hub 元数据中未声明音频许可。 |
| Voice Annotation POC | 7,566 | 否 | 仅分发新产生的标注和嵌入输出。上游仓库在其 Hub 元数据中未声明音频许可。 |
- 该包包含 52,036 个精确 MP3 和 13,127 条仅标注记录。
- 顶层 CC BY 4.0 许可不会重新许可仅保留在上游仓库中的音频。
- 为追溯仅标注记录，提供了源 URL、修订版本或原始源成员及音频 SHA。
- 未复制任何未经核实的 mitermix 音频。
- 整个数据包按压缩音频 SHA256 去重；不保证移除字节不同的转码重复项。
文件与 schema
data/<source-family>/<split>-NNNN.tar下共有 516 个 WebDataset TAR 分片，每个最多容纳 128 个样本。- 键为完整小写 MP3 SHA256：
<sha>.json：源与划分溯源、许可标志、完整 Gemini 标注、192 个教师标量输出（原生单位）、分数溯源、CPS、精确爆发跨度和掩码。<sha>.npz：float16 数组voiceclap(768D)、bud_e_pooled(3072D)、timbre(128D) 和identity(250D)。Orange 向量来自同一选定波形；speaker_target_valid指示受监督的单说话人掩码是否激活。<sha>.mp3：仅当audio_in_shard为 true 时存在。与选定源字节相同，并经 SHA256 验证。
manifest.jsonl：列出每个键、来源家族、划分、分片路径、时长和音频存在标志。DATASET_READY.json：提供审计计数。example.mp3和example.json：提供可直接播放的完整示例。- 对于分片中缺失的源音频，请在其自身条款下使用所提供的源仓库。音频绝不会被静默伪造或替换为干净的说话人参考。
完整标注示例
- 示例地址：Play or download the example MP3
- 完整 JSON 标注：Inspect the full JSON annotation
- 交互式收听图谱：Open the interactive listening atlas
- 该示例时长 10.22 秒，SHA256 为
00003c59c3999f3d6a0ebbe97bce67053785d09a0e67988ded26bf19035f1938，来自vc_sidon。 - 其 Gemini 响应包含转录、整体音频描述、导演描述、全部 40/57 分数以及以下事件跨度：
| 事件 | 开始（秒） | 结束（秒） | 细粒度 vocal-event 标签 |
|---|---|---|---|
| 1 | 0.00 | 1.95 | Heavy Breathing |
| 2 | 2.05 | 4.50 | Exasperated Sigh |
| 3 | 6.80 | 9.80 | Heavy Breathing |
- 链接的 JSON 包含完整的 192 分数 sidecar、CPS、事件描述和教师溯源。对应的向量
.npz位于 manifest 列出的分片中。
标注与训练决策
- 原始详细标注提示与已发布的准备/验证代码指定了确切的 schema。
- Gemini 每个片段接收一次完整选定音频。schema 有效的响应优先于无效尝试。不可用响应被排除。每个样本保留提示哈希、模型 ID 和批次标签。
- 40 个 EmoNet 分数为同时的 0–4 强度，遵循 EmoNet。
- 57 个 VoiceNet 维度大多使用 0–6；BKGN 使用 0–4，EXPL 使用 0–2。参见 VoiceNet 分类法与基准及 VoiceNet 模型仓库。
- 真实度为 0–6（head），burst blend 为 0–10（head）。
- 每个爆发保留其原始细粒度标签、粗粒度组、描述和未裁剪的起止秒数。
- 已发布的学生模型将这些映射到其 53 类词汇表，同时在数据中保留原始 78 标签标注分类法。
- 使用的其他包：Empathic Insight Voice Plus、facebook/audiobox-aesthetics、Microsoft DNSMOS、Orange Speaker-wavLM-tbr 和 Orange Speaker-wavLM-id。
- 数据集将每个量表和构念分开：AudioBox 内容享受不是 VoiceNet 美学；DNSMOS BAK 不是 Empathic 背景噪声分数。定时 vocal 事件与片段级爆发计数分开。
- 字面字符每秒包含转录空格和标点，除以整段片段时长，在移除方括号非词汇占位符后计算。
- 训练/验证/测试标签为 Gemini 微调的标签，在已知说话人或合成音频家族可用时按其分组。它们不证明这些片段在模型早期 S1–S10 训练中未见过。有关测量的泛化性和公共人类标签比较，请参阅独立基准报告。
引用与使用
- 在 CC BY 4.0 下，将新标注和包归属于 Christoph Schuhmann / LAION, 2026，并保留逐记录上游归属。
- 对于仅标注行，在获取或再分发音频前请咨询上游来源。
- 模型输出为连续估计，非校准概率或身份保证。
