bookbot/id_word2phoneme

---
annotations_creators:
- no-annotation
language_creators:
- found
language:
- id
- ms
source_datasets:
- original
task_categories:
- text2text-generation
task_ids: []
pretty_name: ID Word2Phoneme
---

# Dataset Card for ID Word2Phoneme

## Table of Contents

- [Dataset Description](#dataset-description)
- [Dataset Summary](#dataset-summary)
- [Languages](#languages)
- [Dataset Structure](#dataset-structure)
- [Data Instances](#data-instances)
- [Data Fields](#data-instances)
- [Data Splits](#data-splits)
- [Additional Information](#additional-information)
- [Citation Information](#citation-information)

## Dataset Description

- **Homepage:** [Github](https://github.com/open-dict-data/ipa-dict/blob/master/data/ma.txt)
- **Repository:** [Github](https://github.com/open-dict-data/ipa-dict/blob/master/data/ma.txt)
- **Point of Contact:**
- **Size of downloaded dataset files:**
- **Size of the generated dataset:**
- **Total amount of disk used:**

### Dataset Summary

Originally a [Malay/Indonesian Lexicon](https://github.com/open-dict-data/ipa-dict/blob/master/data/ma.txt) retrieved from [ipa-dict](https://github.com/open-dict-data/ipa-dict). We removed the accented letters (because Indonesian graphemes do not use accents), separated homographs, and removed backslashes in phonemes -- resulting in a word-to-phoneme dataset.

### Languages

- Indonesian
- Malay

## Dataset Structure

### Data Instances

| word | phoneme |
| ----- | ------- |
| aba | aba |
| ab | ab |
| ab’ad | abʔad |
| abad | abad |
| abadi | abadi |
| ... | ... |

### Data Fields

- `word`: Word (grapheme) as a string.
- `phoneme`: Phoneme (IPA) as a string.

### Data Splits

| train |
| ----- |
| 27553 |

## Additional Information

### Citation Information

```
@misc{open-dict-data-no-date,
author = {{Open-Dict-Data}},
title = {{GitHub - open-dict-data/ipa-dict: Monolingual wordlists with pronunciation information in IPA}},
url = {https://github.com/open-dict-data/ipa-dict},
}
```

annotations_creators:
- 无注释（no-annotation）
language_creators:
- 现有资源采集（found）
language:
- 印尼语（Indonesian）
- 马来语（Malay）
source_datasets:
- 原始数据集（original）
task_categories:
- 文本到文本生成（text2text-generation）
task_ids（任务子项）: []
pretty_name: 印尼语词汇转音素（ID Word2Phoneme）
---

# ID Word2Phoneme 数据集卡片

## 目录

- [数据集描述](#dataset-description)
- [数据集摘要](#dataset-summary)
- [语言情况](#languages)
- [数据集结构](#dataset-structure)
- [数据实例](#data-instances)
- [数据字段](#data-fields)
- [数据划分](#data-splits)
- [附加信息](#additional-information)
- [引用信息](#citation-information)

## 数据集描述

- **主页:** [Github](https://github.com/open-dict-data/ipa-dict/blob/master/data/ma.txt)
- **代码仓库:** [Github](https://github.com/open-dict-data/ipa-dict/blob/master/data/ma.txt)
- **联系人:**
- **下载数据集文件大小:**
- **生成数据集大小:**
- **总磁盘占用量:**

### 数据集摘要

本数据集最初为源自[ipa-dict](https://github.com/open-dict-data/ipa-dict)的[马来语/印尼语词典](https://github.com/open-dict-data/ipa-dict/blob/master/data/ma.txt)。我们对原始语料进行了如下处理：移除带重音符号的字母（因印尼语书写系统不使用重音符号）、拆分同形异义词（homographs）、移除音素中的反斜杠，最终得到该词汇转音素数据集。

### 语言情况

- 印尼语（Indonesian）
- 马来语（Malay）

## 数据集结构

### 数据实例

| 书写词形 | 音素 |
| ----- | ------- |
| aba | aba |
| ab | ab |
| ab’ad | abʔad |
| abad | abad |
| abadi | abadi |
| ... | ... |

### 数据字段

- `word`: 以字符串格式存储的书写词形（grapheme）。
- `phoneme`: 以字符串格式存储的音素，采用国际音标（International Phonetic Alphabet, IPA）标注。

### 数据划分

| 训练集样本量 |
| ----- |
| 27553 |

## 附加信息

### 引用信息

@misc{open-dict-data-no-date,
author = {{Open-Dict-Data}},
title = {{GitHub - open-dict-data/ipa-dict: Monolingual wordlists with pronunciation information in IPA}},
url = {https://github.com/open-dict-data/ipa-dict},
}

原始信息汇总

数据集概述

数据集描述

数据集总结

• 来源: 原始数据集为Malay/Indonesian Lexicon，来源于ipa-dict。
• 处理: 移除了带重音的字符（因印尼字母不使用重音），分离了同形异义词，并移除了音素中的反斜杠，最终形成了一个词到音素的转换数据集。

语言

• 印尼语
• 马来语

数据集结构

数据实例

• 结构: 每个实例包含两个字段：word（词）和phoneme（音素）。

• 示例:

  word	phoneme
  aba	aba
  ab	ab
  ab’ad	abʔad
  abad	abad
  abadi	abadi
  ...	...

数据字段

• word: 字符串类型的词（字形）。
• phoneme: 字符串类型的音素（国际音标）。

数据分割

• 训练集: 包含27553个实例。

搜集汇总

数据集介绍

构建方式

该数据集源自ipa-dict项目中的马来语/印尼语词汇表，原始数据经过精细清洗与重构而成。构建过程中，首先剔除了带重音符号的字母，以契合印尼语正字法规则；随后对同形异义词进行分离，确保一词一音的唯一映射；最后移除音素表示中的反斜杠冗余符号，最终形成一套纯净的“词-音素”对应数据集。整个流程旨在消除原始语料中的噪声与歧义，为语音合成与音素识别提供可靠基础。

特点

数据集聚焦于印尼语与马来语的双语覆盖，共包含27,553条训练样本，每条样本由“word”（字素字符串）与“phoneme”（国际音标字符串）两个字段构成。其核心特点在于简洁性与一致性：所有音素均采用标准IPA编码，无额外标注或元数据干扰，便于直接用于文本到音素的序列转换任务。此外，数据经过同形异义词消歧处理，提升了音素映射的准确性，尤其适合低资源语言场景下的声学建模。

使用方法

该数据集可直接用于文本到音素生成任务的训练与评估。使用时，用户可加载“word”字段作为输入序列，“phoneme”字段作为目标序列，构建序列到序列模型或基于词典的查表系统。推荐将数据划分为训练集与验证集（如9:1比例），并采用字符级或子词级分词策略。对于多语言支持，可结合其他语种的字素-音素数据集进行联合训练，以增强模型的跨语言泛化能力。

背景与挑战

背景概述

在自然语言处理与语音技术交叉领域中，字素到音素（grapheme-to-phoneme）转换是连接文本与语音的关键桥梁，尤其对于低资源语言如印尼语和马来语，缺乏高质量、结构化的音素词典长期制约着文本转语音（TTS）和语音识别（ASR）系统的性能。BookBot团队于近年基于开放词典数据项目ipa-dict中的马来语/印尼语词汇表，构建了ID Word2Phoneme数据集。该数据集由Open-Dict-Data社区维护，核心研究问题在于为印尼语和马来语提供干净、无重音符号且同形异义词已分离的字素-音素映射，从而支持语音合成与识别中的音素预测任务。其影响力体现在为东南亚语言语音技术提供了可复用的基础资源，推动了该区域低资源语言NLP生态的发展。

当前挑战

该数据集面临的挑战首先在于领域问题层面：印尼语和马来语虽共享大量词汇，但音素系统存在细微差异（如元音长度和辅音发音），数据集未明确区分两种语言，可能导致跨语言泛化时的音素混淆。其次，构建过程中原始ipa-dict数据包含重音符号和反斜杠等不规范字符，需人工清洗并分离同形异义词（如'aba'对应不同音素），然而数据集仅提供单一映射，无法覆盖多音词的全部变体。此外，数据集规模仅27,553条，难以捕捉罕见词汇和外来借词的音素规律，且缺少上下文或词性标注，使音素预测模型在真实场景中面临歧义消解的重大瓶颈。

常用场景

经典使用场景

在自然语言处理与语音技术交叉领域中，bookbot/id_word2phoneme数据集扮演着连接文本与语音的桥梁角色。该数据集收录了超过两万七千条印尼语及马来语词汇与其对应的国际音标（IPA）转写，为字素到音素（G2P）转换任务提供了高质量的标注资源。研究者可借助这一资源，训练从拼写形式到发音序列的映射模型，从而支撑文本到语音合成、语音识别等下游系统的构建。该数据集的精炼之处在于剔除了带重音符号的字符并清理了同形异义词，确保了语言数据的纯净性与一致性，为低资源语言的语音建模奠定了坚实基础。

解决学术问题

该数据集的核心学术贡献在于填补了印尼语和马来语在字素-音素映射领域标注资源的空白。长期以来，东南亚区域语言因缺乏系统化的发音词典，导致语音合成与识别研究进展缓慢。ID Word2Phoneme通过提供大规模、标准化的词-音素对应关系，使研究者能够系统性地探索印尼语的音系规则，解决多音字、外来词发音等复杂语言现象。这一资源不仅推动了G2P转换模型的性能提升，还为跨语言迁移学习提供了可靠的锚点，促进了对南岛语系语音结构的深入理解。

衍生相关工作

围绕ID Word2Phoneme数据集，学术界已衍生出一系列富有影响力的工作。基于该资源，研究者开发了专为印尼语优化的端到端G2P模型，通过结合注意力机制与序列到序列架构，显著提升了多音节词与外来词的转写准确率。另有工作将其作为跨语言G2P迁移学习的基准数据集，验证了从印尼语到马来语、爪哇语等相近语言的知识迁移效果。此外，该数据集还被整合进多模态语音识别系统中，用于联合学习字形与音素表示，推动了低资源语言语音技术的边界拓展。