遇见数据集

Humaneness-Voice-Large-1.3-Alpha-RL-Listening

收藏
Hugging Face2026-10-23 更新2026-10-24 收录
官方服务:

资源简介:

该数据集名为 Humaneness Voice Large1.3 Alpha: matched final-RL listening comparison,是一个面向表达性文本转语音与强化学习监听对比的合成语音数据集。采用 CC BY 4.0 许可,语言覆盖英语、德语、法语、荷兰语和西班牙语,任务类别为 text-to-speech,标签包括 synthetic、expressive-tts、reinforcement-learning 和 listening-demo。核心内容是来自已完成训练、rank 为 128 的 RL adapter 在已发布的最终 Large1.3 SFT checkpoint(step 9,799)上生成的 70 个新输出,这些输出不是 smoke 或中间结果。它们对应 35 个既有 scene/language 案例,每个案例分别包含使用和不使用同一独立输入说话人参考的条件,因此形成成对比较。所有单词、指导提示、随机种子、请求帧数和参考 codec 数组均与既有公开根页面对比完全一致。每个条件仅保留一个固定 take,未使用 best-of-N、重试、音频编辑或时间拉伸。旧 1.2/1.3 SFT 输出保留在原始仓库中,未被修改。推理设置方面,公开推理保留基线部署采样器:BF16 基础模型、未合并的 FP32 adapter 残差、temperature 1、top-p 0.95、top-k 50;RL 训练使用 FP32 采样与回放、temperature 0.7 和完整类别支持,二者差异是有意记录而非隐藏。奖励由三部分组成:33% 为 Humaneness EARS Medium Content Enjoyment/10,33% 为匹配两个固定源音频情绪强度(缩放 4 后按 1−MSE 计算),34% 为 genuineness/6;采用 VESPO 序列权重、组内奖励分量分别归一化以及 KL/SFT anchoring,按 UID 划分参考/无参考组,并保持真实/Gemini 来源均衡及五语言来源分层。这些属于学习到的代理指标,并非人类 MOS,也不保证输出改善。数据文件包括 audio/ 中可单独流式播放的 128 kbps 单声道 MP3;predictions.tar 打包这些 MP3、每个 80ms 帧的全部 12 个 MOSS-v2 codec 索引以及完整 JSON provenance;TASKS.json 与 predictions.json 保留精确输入、原始种子、checkpoint 身份、adapter SHA256、请求/实际时长和截断标记;metrics.json 保留旧 1.3SFT 与新 RL MP3 的完整 192-head EARS 输出及多语言 Parakeet ASR。未过滤摘要包含每个 take。超过 30 秒的片段使用均衡、不重叠的 judge 窗口覆盖完整片段,保留 duration-weighted raw-head 平均值及所有逐窗口分数;不丢弃尾部,该标注聚合不编辑 MP3,窗口代理分数不一定等于假设的整段评分。1.2 未被重新评分。该数据集定位为脚本化监听/开发比较,而非认证的 held-out benchmark;不声称这些场景具备 ground-truth 情绪强度匹配或认证说话人身份。说话人参考沿用先前监听数据集中已署名的独立公开合成 Gemini 话语,最终来自 laion/german-english-voice-acting-challenges,但参考音频未在此重新发布。新生成音频和元数据以 CC BY 4.0、LAION、2026 发布。该 adapter/checkpoint 仍是单独标识的实验性 RL 结果,此发布不替代 SFT 基础模型,也不重标记旧 SFT 音频。相关基础模型为 laion/Humaneness-Voice-Large-1.3-Alpha,另有 Listening Space。训练过程中完成尝试组数为 1500,成功优化器更新为 1452。

The dataset is named Humaneness Voice Large1.3 Alpha: matched final-RL listening comparison. It is a synthetic speech dataset for expressive text-to-speech and reinforcement-learning listening comparison, licensed under CC BY 4.0. It covers English, German, French, Dutch, and Spanish, with task category text-to-speech and tags synthetic, expressive-tts, reinforcement-learning, and listening-demo. The core content consists of 70 new outputs generated by a fully trained rank-128 RL adapter on the released final Large1.3 SFT checkpoint (step 9,799); these are not smoke or intermediate results. They correspond to 35 existing scene/language cases, each with paired conditions using and not using the same independent input speaker reference. All words, instruction prompts, random seeds, requested frame counts, and reference codec arrays are exactly matched to the existing public root-page comparison. Only one fixed take is retained per condition; no best-of-N, retries, audio editing, or time stretching were used. Old 1.2/1.3 SFT outputs remain in the original repository and are unmodified. For inference settings, public inference retains the baseline deployment sampler: BF16 base model, unmerged FP32 adapter residual, temperature 1, top-p 0.95, top-k 50; RL training used FP32 sampling and replay, temperature 0.7, and full category support, with the difference intentionally recorded rather than hidden. The reward has three parts: 33% Humaneness EARS Medium Content Enjoyment/10, 33% matching two fixed source-audio emotion intensities (scaled by 4 and computed as 1−MSE), and 34% genuineness/6; it uses VESPO sequence weights, per-group normalization of reward components, and KL/SFT anchoring, splits reference/no-reference groups by UID, and keeps real/Gemini source balance and five-language source stratification. These are learned proxy metrics, not human MOS, and do not guarantee improved outputs. Data files include individually streamable 128 kbps mono MP3s under audio/; predictions.tar packages these MP3s, all 12 MOSS-v2 codec indices per 80 ms frame, and full JSON provenance; TASKS.json and predictions.json preserve exact inputs, raw seeds, checkpoint identity, adapter SHA256, requested/actual durations, and truncation flags; metrics.json preserves full 192-head EARS outputs for old 1.3SFT and new RL MP3s plus multilingual Parakeet ASR. The unfiltered summary includes every take. Segments over 30 seconds are covered by balanced, non-overlapping judge windows, preserving duration-weighted raw-head averages and all per-window scores; tails are not discarded, this annotation aggregation does not edit MP3s, and window proxy scores may not equal a hypothetical whole-segment rating. 1.2 was not re-scored. The dataset is positioned as a scripted listening/development comparison, not a certified held-out benchmark; it does not claim ground-truth emotion intensity matching or certified speaker identity for these scenes. Speaker references reuse credited independent public synthetic Gemini utterances from previous listening datasets, ultimately from laion/german-english-voice-acting-challenges, but the reference audio is not republished here. New generated audio and metadata are released under CC BY 4.0, LAION, 2026. The adapter/checkpoint remains a separately identified experimental RL result; this release does not replace the SFT base model or relabel old SFT audio. The related base model is laion/Humaneness-Voice-Large-1.3-Alpha, and there is also a Listening Space. During training, 1500 attempted groups were completed and 1452 successful optimizer updates were made.

提供机构:
LAION eV
创建时间:
2026-10-23
原始信息汇总

Humaneness Voice Large1.3 Alpha: matched final-RL listening comparison

基本信息

项目 内容
数据集页面 https://huggingface.co/datasets/laion/Humaneness-Voice-Large-1.3-Alpha-RL-Listening
许可证 cc-by-4.0
语言 en, de, fr, nl, es
任务类别 text-to-speech
标签 synthetic, expressive-tts, reinforcement-learning, listening-demo

数据集概述

  • 包含70个新输出,来自已完成的 rank128 RL adapter,运行于已发布的最终 Large1.3 SFT checkpoint(step 9,799)。
  • 这些输出不是 smoke 或 intermediate outputs。
  • 包含35个现有场景/语言案例,每个案例均包含带与不带同一单独输入说话人参考的版本。
  • 先前的1.2/1.3 SFT 输出在其原始仓库中保持不变。
  • 所有 words、directing prompts、seeds、requested frames 和 reference codec arrays 与现有公开 root-page comparison 完全匹配。
  • 每个条件仅一个 fixed take。
  • 无 best-of-N、重试、音频编辑或 time-stretch。

推理与训练配置

  • 公开推理保留 baseline deployment sampler:BF16 base、unmerged FP32 adapter residuals、temperature 1、top-p 0.95、top-k 50。
  • RL 训练使用 FP32 sampling 和 replay,temperature 0.7,并带 full categorical support。
  • 该差异是有意且被记录的,并非隐藏于相同策略声明之后。

奖励与训练目标

  • 奖励组成:33% Humaneness EARS Medium Content Enjoyment/10。
  • 奖励组成:33% matching TWO fixed source-audio emotion intensities(1−MSE after scaling by 4)。
  • 奖励组成:34% genuineness/6。
  • 使用 VESPO sequence weights 和 separate within-group reward-component normalization,并带 KL/SFT anchoring。
  • G8,针对每个 UID 使用 separate reference/no-reference groups。
  • 使用 equal real/Gemini 和 balanced five-language source strata。
  • 这些是 learned proxies,不是 human MOS,也不保证输出改进。

文件与元数据

  • audio/ 包含可单独流式播放的 128kbps mono MP3s。
  • predictions.tar 打包这些 MP3s、每80ms帧的全部12个 MOSS-v2 codec indices 和完整 JSON provenance。
  • TASKS.json 和 predictions.json 保留 exact inputs、original seeds、checkpoint identity、adapter SHA256、requested/actual timing 和 truncation flags。
  • metrics.json 保留 full 192-head EARS outputs 以及针对旧 1.3SFT 和新 RL MP3s 的 multilingual Parakeet ASR。
  • 未过滤摘要包含每一个 take。
  • 超过30秒的 clips 使用 balanced non-overlapping judge windows,覆盖完整 clip,并保留 duration-weighted raw-head averages 和所有 per-window scores。
  • 不丢弃 tail;该 annotation aggregation 不编辑 MP3。
  • Windowed proxy scores 不必等于假设的 whole-clip rating。
  • 1.2 在此不重新评分。

评价性质与限制

  • 这是 scripted listening/development comparison,不是 certified held-out benchmark。
  • 在这些场景上不提出 ground-truth emotion-intensity match 或 certified speaker identity claim。
  • Speaker references 是先前 listening dataset 中已归属的相同单独公开 synthetic Gemini utterances,最终来自 laion/german-english-voice-acting-challenges。
  • References 不在此重新发布。
  • 新生成的音频和元数据:CC BY 4.0, LAION, 2026。
  • Adapter/checkpoint 仍是被单独标识的实验性 RL 结果;此发布不替代 SFT base model,也不重新标记旧 SFT audio。

相关链接

  • Base model: https://huggingface.co/laion/Humaneness-Voice-Large-1.3-Alpha
  • Listening Space: https://laion-humaneness-voice-large-1-2-alpha-listening.static.hf.space/
  • 数据集页面: https://huggingface.co/datasets/laion/Humaneness-Voice-Large-1.3-Alpha-RL-Listening

训练统计

  • Completed attempted groups: 1500
  • Successful optimizer updates: 1452
搜集汇总
数据集介绍
Humaneness-Voice-Large-1.3-Alpha-RL-Listening 数据集图片
构建方式
在表现性文本到语音与强化学习后训练评估的语境中,该数据集的构建方式围绕已发布的 Large 1.3 SFT 检查点(step 9,799)上完成的 rank128 RL 适配器展开,生成 70 条新输出。研究者针对 35 个既有场景与语言案例,在相同独立输入说话人参考与无参考两种条件下各取一条固定生成,并令词语、导演提示、种子、请求帧及参考编解码数组与既有公开根页面对比完全一致;不采用 best-of-N、重试、音频编辑或时间拉伸。公共推理沿用部署采样器:BF16 基座、未合并 FP32 适配器残差、temperature 1、top-p 0.95、top-k 50;RL 训练则以 FP32 采样与回放、temperature 0.7 和完整类别支持进行。完成尝试组 1500,成功优化更新 1452。
特点
面向可复现试听与多指标审计的需求,该数据集的特点体现为成对条件、完整溯源与多模态指标并置。其 audio/ 目录包含可单独流式播放的 128kbps 单声道 MP3;predictions.tar 汇集这些 MP3、每 80ms 帧的全部 12 个 MOSS-v2 编解码索引及完整 JSON 溯源。TASKS.json 与 predictions.json 保留精确输入、原始种子、检查点身份、适配器 SHA256、请求与实际时长及截断标志;metrics.json 保留旧 1.3SFT 与新 RL MP3 的完整 192 头 EARS 输出及多语种 Parakeet ASR。未过滤汇总纳入每一条 take,超过 30 秒的片段使用覆盖全片的平衡非重叠裁判窗口,并以时长加权原始头平均且保留逐窗口分数。奖励由 33% Humaneness EARS Medium Content Enjoyment/10、33% 匹配两个固定源音频情绪强度(缩放 4 后 1-MSE)与 34% genuineness/6 构成,采用 VESPO 序列权重和组内奖励分量归一化,并施加 KL/SFT 锚定。
使用方法
围绕开发期聆听比较与代理指标审读,该数据集的使用方法强调可听化、可审计与边界声明。使用者可直接浏览 audio/ 中的单条 MP3 进行流式试听,或下载 predictions.tar 以获取音频、编解码索引和 JSON 溯源,用于复现与审计。TASKS.json 与 predictions.json 提供输入文本、种子、检查点身份、适配器 SHA256、时序与截断信息;metrics.json 可用于对照旧 1.3SFT 与新 RL 输出的 EARS 及 ASR 指标。结合 Listening Space 可开展脚本化试听比较,但该数据集并非认证的 held-out 基准,1.2 未重新评分,窗口代理分数不必等于假设的整段评分,亦不构成真实情绪强度匹配或认证说话人身份声明。生成音频与元数据按 CC BY 4.0 由 LAION 于 2026 年发布,说话人参考未重新发布。适配器与检查点仍为单独标识的实验性 RL 结果,不替代 SFT 基座模型,也不重标旧 SFT 音频。
背景与挑战
背景概述
在神经语音合成由可懂度迈向表现力与人性化的脉络中,LAION于2026年发布的Humaneness-Voice-Large-1.3-Alpha-RL-Listening,构建于已公开的Large1.3 SFT检查点step9,799之上,对完成rank128强化学习适配器的新增输出进行听测比较。该数据集以英语、德语、法语、荷兰语和西班牙语为语言范围,围绕35个既有场景/语言案例,分别在附加与不附加同一独立输入说话人参考的条件下生成70段新音频。其核心问题在于检验强化学习适配能否在内容愉悦度、双源音频情感强度匹配与真实感等复合奖励下提升表达性TTS的人性化表现,同时保持与既往SFT输出的可比性。该发布为表达性语音合成与强化学习评估提供了可流式音频、编解码索引及完整溯源信息,具有推动可复现听测研究的方法论影响力。
当前挑战
在表达性文本转语音与强化学习评测交汇处,该数据集面对的领域难题是将内容愉悦度、情感强度匹配与真实感联合优化,并在五种语言及有无说话人参考条件下维持稳健表现,而学习型奖励代理与人类MOS之间仍存在不可通约的差距。构建过程中,研究团队需在SFT检查点上训练rank128 RL适配器,处理公开推理与训练采样策略差异、未合并FP32适配器残差、VESPO序列权重、组内奖励分量归一化及KL/SFT锚定;同时以G8分组平衡真实与Gemini来源、五语种分层,并完整保留固定单次生成、编解码索引、时长与截断标志。1500个尝试组中仅1452次优化更新成功,长于30秒片段还需平衡非重叠评判窗口与时长加权聚合,且不声称认证基准、真实情感匹配或说话人身份保证。
常用场景
经典使用场景
在表达性语音合成日益强调主观听感与强化学习对齐的语境中,该数据集的经典用途在于开展受控的TTS听感对比。其提供70个由rank128 RL适配器在Large1.3 SFT检查点step9799上生成的新输出,覆盖35个场景与语言案例,并分别设置带独立输入说话人参考与不带参考的条件。研究者可在固定公共推理采样器下,借助MP3、MOSS-v2编解码索引、JSON溯源、EARS多维指标及多语言Parakeet ASR,比较强化学习适配与SFT基线的内容享受度、情感强度匹配和真实感,适合作为表达性TTS强化学习研究的听测开发集。
解决学术问题
围绕强化学习能否稳定提升TTS表现力、情感保真度与真实感的学术争议,该数据集回应了可复现评估与偏差控制难题。它针对每个UID设置带参考与无参考分组,采用G8分组、组内奖励分量归一化、KL与SFT锚定,并平衡真实与Gemini来源以及五种语言分层。固定种子、固定推理配置、完整元数据与未过滤汇总,有助于规避best-of-N、重试、音频编辑和时间拉伸带来的选择性偏差。其意义在于为TTS强化学习、奖励建模和跨语言表现力迁移提供透明、可审计的实验素材,推动比较研究从单一MOS转向多维代理指标。
衍生相关工作
在LAION Humaneness Voice系列持续迭代的脉络中,该数据集衍生或紧密关联的经典工作主要围绕其技术栈展开。基础模型Humaneness-Voice-Large-1.3-Alpha与前序1.2/1.3 SFT输出构成比较基线,Listening Space提供交互式听测入口,VESPO序列加权优化、KL与SFT锚定体现强化学习对齐方法,EARS多维听感评分与Parakeet多语言ASR支撑自动评价,MOSS-v2编解码索引保障可追溯重建。其奖励设计融合内容享受度、源音频情感强度匹配与真实性,延续并细化了前序听测数据集的比较框架。该发布明确不替换SFT基础模型,而是以独立实验RL适配器形式,为后续表达性TTS强化学习研究提供可复现参照。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务