laion/emolia-hq

---
license: cc-by-4.0
task_categories:
- audio-classification
- text-to-speech
language:
- de
- en
- fr
- ja
- ko
- zh
tags:
- emotion
- speech
- audio
- webdataset
- speaker-verification
pretty_name: Emolia-HQ
size_categories:
- 10M<n<100M
---

# Emolia-HQ

**Emolia-HQ** is a high-quality, speaker-paired subset of the [LAION Emolia](https://huggingface.co/datasets/laion/Emolia) dataset. Each sample includes a target utterance and a reference utterance from the **same speaker**, enabling speaker-conditioned tasks such as voice conversion, expressive TTS, and speaker-aware emotion recognition.

## Source

Derived from [laion/Emolia](https://huggingface.co/datasets/laion/Emolia) by:

1. **Quality filtering**: Only samples with `dnsmos >= 3.0` are retained.
2. **Speaker pairing**: Each target sample is matched with a reference audio from the same speaker (different utterance), forming a "quadruplet". Samples where no same-speaker reference exists are included as pairs (target only).
3. **Metadata enrichment**: `speaker_id` and `language_id` fields are extracted from the key and injected into each sample's JSON metadata.

## Data Format

The dataset is stored as **WebDataset** `.tar` files, organized by language:

```
emolia_hq/
DE/ # German (243 tars, ~130 GB)
EN/ # English (2,380 tars, ~2,476 GB)
FR/ # French (298 tars, ~187 GB)
JA/ # Japanese (96 tars, ~163 GB)
KO/ # Korean (246 tars, ~79 GB)
ZH/ # Chinese (929 tars, ~1,681 GB)
```

Each sample within a tar file is grouped by a shared base key:

### Quadruplet (target + same-speaker reference)
| File | Description |
|------|-------------|
| `<key>.mp3` | Target audio |
| `<key>.json` | Target metadata |
| `<key>.ref.mp3` | Reference audio (same speaker, different utterance) |
| `<key>.ref.json` | Reference metadata |

### Pair (no reference found)
| File | Description |
|------|-------------|
| `<key>.mp3` | Target audio |
| `<key>.json` | Target metadata |

## JSON Metadata Fields

| Field | Description |
|-------|-------------|
| `id` | Unique utterance ID |
| `text` | Transcription |
| `duration` | Audio duration in seconds |
| `dnsmos` | DNS-MOS quality score (all >= 3.0) |
| `speaker` | Original speaker ID |
| `speaker_id` | Extracted speaker ID (e.g., `DE_B00000_S00010`) |
| `language_id` | Extracted language code (e.g., `DE`) |
| `language` | Language code lowercase |
| `emotion_caption` | Natural language description of the emotional content |
| `emotion_annotation` | Dictionary of 50+ emotion/prosody scores |
| `characters_per_second` | Speaking rate |
| `wavelm_timbre_embedding` | 128-dim speaker timbre embedding |

## Statistics

| Language | Tars | Size |
|----------|------|------|
| DE (German) | 243 | ~130 GB |
| EN (English) | 2,380 | ~2,476 GB |
| FR (French) | 298 | ~187 GB |
| JA (Japanese) | 96 | ~163 GB |
| KO (Korean) | 246 | ~79 GB |
| ZH (Chinese) | 929 | ~1,681 GB |
| **Total** | **4,192** | **~4,716 GB** |

~97% of samples include a same-speaker reference audio (quadruplets). The remaining ~3% are pairs where the speaker only appeared once across the entire dataset.

## Usage

```python
import webdataset as wds

dataset = wds.WebDataset("emolia_hq/EN/EN-B000000_standard_hq.tar")

for sample in dataset:
key = sample["__key__"]
target_audio = sample["mp3"] # bytes
target_meta = sample["json"] # bytes -> json.loads()
ref_audio = sample.get("ref.mp3") # bytes or None
ref_meta = sample.get("ref.json") # bytes or None
```

## License

Same as the source Emolia dataset. See [laion/Emolia](https://huggingface.co/datasets/laion/Emolia) for details.

license: 知识共享署名4.0（CC BY 4.0）
task_categories:
- 音频分类
- 文本转语音（Text-to-Speech，TTS）
language:
- 德语
- 英语
- 法语
- 日语
- 韩语
- 中文
tags:
- 情感
- 语音
- 音频
- WebDataset
- 说话人验证
pretty_name: Emolia-HQ
size_categories:
- 1000万 < 样本量 < 1亿
---

# Emolia-HQ 数据集

**Emolia-HQ** 是 [LAION Emolia](https://huggingface.co/datasets/laion/Emolia) 数据集的高质量、说话人配对子集。每个样本均包含来自**同一说话人**的目标语音与参考语音，可支持说话人条件任务，例如语音转换、表情文本转语音以及感知说话人的情感识别。

## 数据集来源
本数据集源自 [laion/Emolia](https://huggingface.co/datasets/laion/Emolia)，经过以下三步处理：
1. **质量过滤**：仅保留`dnsmos >= 3.0`的样本。
2. **说话人配对**：为每个目标样本匹配来自同一说话人（不同语音内容）的参考音频，构成“四元组”。对于无法找到同说话人参考音频的样本，则仅保留目标样本对。
3. **元数据增强**：从样本键中提取`speaker_id`与`language_id`字段，并注入每个样本的JSON元数据中。

## 数据格式
本数据集以 **WebDataset** 格式的`.tar`文件存储，按语言分类组织：

emolia_hq/
DE/ # 德语（243个tar文件，约130 GB）
EN/ # 英语（2,380个tar文件，约2,476 GB）
FR/ # 法语（298个tar文件，约187 GB）
JA/ # 日语（96个tar文件，约163 GB）
KO/ # 韩语（246个tar文件，约79 GB）
ZH/ # 中文（929个tar文件，约1,681 GB）

每个tar文件内的样本以共享的基础键进行分组：

### 四元组（目标音频 + 同说话人参考音频）
| 文件 | 说明 |
|------|------|
| `<key>.mp3` | 目标音频 |
| `<key>.json` | 目标音频元数据 |
| `<key>.ref.mp3` | 参考音频（同一说话人，不同语音内容） |
| `<key>.ref.json` | 参考音频元数据 |

### 单样本对（未找到参考音频）
| 文件 | 说明 |
|------|------|
| `<key>.mp3` | 目标音频 |
| `<key>.json` | 目标音频元数据 |

## JSON元数据字段
| 字段 | 说明 |
|------|------|
| `id` | 唯一语音ID |
| `text` | 语音转写文本 |
| `duration` | 音频时长（单位：秒） |
| `dnsmos` | DNS-MOS音频质量评分（所有样本评分均≥3.0） |
| `speaker` | 原始说话人ID |
| `speaker_id` | 提取得到的说话人ID（例如：`DE_B00000_S00010`） |
| `language_id` | 提取得到的语言代码（例如：`DE`） |
| `language` | 小写格式的语言代码 |
| `emotion_caption` | 情感内容的自然语言描述 |
| `emotion_annotation` | 包含50余种情感/韵律评分的字典 |
| `characters_per_second` | 语音语速（每秒字符数） |
| `wavelm_timbre_embedding` | 128维说话人音色嵌入向量 |

## 数据集统计
| 语言 | tar文件数量 | 占用空间 |
|------|------------|----------|
| 德语（DE） | 243 | ~130 GB |
| 英语（EN） | 2,380 | ~2,476 GB |
| 法语（FR） | 298 | ~187 GB |
| 日语（JA） | 96 | ~163 GB |
| 韩语（KO） | 246 | ~79 GB |
| 中文（ZH） | 929 | ~1,681 GB |
| **总计** | **4,192** | **~4,716 GB** |

约97%的样本包含同说话人参考音频（四元组样本），剩余约3%为单样本对，这类样本的说话人在全数据集中仅出现一次。

## 使用方法
python
import webdataset as wds

dataset = wds.WebDataset("emolia_hq/EN/EN-B000000_standard_hq.tar")

for sample in dataset:
key = sample["__key__"]
target_audio = sample["mp3"] # 字节流格式
target_meta = sample["json"] # 字节流，需经json.loads()解析
ref_audio = sample.get("ref.mp3") # 字节流或None
ref_meta = sample.get("ref.json") # 字节流或None

## 授权协议
与源数据集Emolia保持一致，详情请参见 [laion/Emolia](https://huggingface.co/datasets/laion/Emolia)。