Hausa Soundex dataset with evaluation script for reproducibility
收藏资源简介：
Hausa Names Soundex Dataset This dataset contains Hausa personal names, their misspellings, and associated phonetic encodings using the Sautex algorithm, a Hausa-adapted Soundex system. The dataset is intended for research in name-matching, spelling correction, and phonetic similarity in low-resource languages. Contents data/ — Contains the CSV files for the dataset. code/ — Contains the scripts for evaluation, and the Sautex phonetic encoding implementation. docs/ — Contains additional documentation and figures for evaluation results. Dataset Description The dataset was collected from spelling attempts of Hausa personal names and includes both the correct spellings and various incorrect attempts. Each record contains metadata for evaluation and reproducibility. The phonetic encodings were generated using Sautex, which adapts the Soundex rules to Hausa phonology. Data Dictionary SN Column Name Description Data Type 1 name The correct Hausa personal name String 2 attempt The spelling attempt for the name String 3 string_match Indicates if the attempt matches the intended name (True/False) Boolean 4 edit_distance Damerau-Levenshtein edit distance between attempt and name Integer 5 name_soundex_h* H* variant of the Sautex code generated for the intended name String 6 attempt_soundex_h* H* variant of the Sautex code generated for the spelling attempt String 7 match_status_h* Indicates if the H* Sautex code for attempt matches that of the name (True/False) Boolean 8 name_soundex_h** H** variant of the Sautex code generated for the intended name String 9 attempt_soundex_h** H** variant of the Sautex code generated for the spelling attempt String 10 match_status_h** Indicates if the English Soundex code for attempt matches that of the name (True/False) Boolean 11 name_soundex_eng The English Soundex code generated for the intended name String 12 attempt_soundex_eng The English Soundex code generated for the spelling attempt String 13 match_status_eng Indicates if the English Soundex code for attempt matches that of the name (True/False) Boolean 14 dataset_source Sourced from online survey using https://name-spell.thrinkle.com String Instruction To evaluate the Sautex algorithm: unzip the sautex-evaluation-python-script.zip file create a virtual environment using the command python -m venv sautexvenv. For convenience, the virtual environment should be within the sautex-evaluation-python-script folder run pip install -r requirements.txt to install project dependencies generate a report for each Sautex algorithm variant, h* and h**, and the English Soundex algorithm, eng by updating the value of the constant VARIANT on line 13 in index.py with the appropriate algorithm symbol (h*,h**,eng) in each case, run python index.py. Find the generated reports in the project folder. License This dataset is released under the CC BY 4.0 license. You are free to use, share, and adapt the dataset, provided appropriate credit is given. Citation If you use this dataset, please cite: Ephraim Bernard. Hausa Names Soundex Dataset. 2025.
豪萨语姓名桑德克斯编码数据集（Hausa Names Soundex Dataset） 本数据集收录豪萨语人名、其拼写错误形式，以及基于适配豪萨语的Sautex语音编码系统生成的相关语音编码。本数据集旨在面向低资源语言领域的姓名匹配、拼写校正及语音相似度研究。 ## 数据集内容 - `data/`：包含本数据集的CSV格式文件 - `code/`：包含评估脚本及Sautex语音编码实现代码 - `docs/`：包含评估结果的补充文档与图表 ## 数据集说明 本数据集采集自豪萨语人名的拼写尝试数据，涵盖正确拼写形式与各类错误拼写尝试。每条记录均附带用于评估与可复现研究的元数据。 语音编码基于Sautex算法生成，该算法将标准桑德克斯语音编码规则（Soundex）适配至豪萨语语音系统。 ## 数据字典 | 序号 | 列名 | 描述 | 数据类型 | |------|------|------|----------| | 1 | `name` | 正确的豪萨语人名 | 字符串（String） | | 2 | `attempt` | 该目标姓名的拼写尝试结果 | 字符串（String） | | 3 | `string_match` | 标识拼写尝试是否与目标姓名一致（True/False） | 布尔值（Boolean） | | 4 | `edit_distance` | 拼写尝试与正确姓名间的达梅罗-莱文施泰因编辑距离（Damerau-Levenshtein） | 整数（Integer） | | 5 | `name_soundex_h*` | 为目标姓名生成的Sautex编码H*变体 | 字符串（String） | | 6 | `attempt_soundex_h*` | 为拼写尝试生成的Sautex编码H*变体 | 字符串（String） | | 7 | `match_status_h*` | 标识拼写尝试的H*型Sautex编码是否与目标姓名的一致（True/False） | 布尔值（Boolean） | | 8 | `name_soundex_h**` | 为目标姓名生成的Sautex编码H**变体 | 字符串（String） | | 9 | `attempt_soundex_h**` | 为拼写尝试生成的Sautex编码H**变体 | 字符串（String） | | 10 | `match_status_h**` | 标识拼写尝试的英语桑德克斯编码是否与目标姓名的一致（True/False） | 布尔值（Boolean） | | 11 | `name_soundex_eng` | 为目标姓名生成的英语桑德克斯编码 | 字符串（String） | | 12 | `attempt_soundex_eng` | 为拼写尝试生成的英语桑德克斯编码 | 字符串（String） | | 13 | `match_status_eng` | 标识拼写尝试的英语桑德克斯编码是否与目标姓名的一致（True/False） | 布尔值（Boolean） | | 14 | `dataset_source` | 数据源自https://name-spell.thrinkle.com 在线调研 | 字符串（String） | ## 评估指南 若需评估Sautex算法，请按以下步骤操作： 1. 解压`sautex-evaluation-python-script.zip`压缩包 2. 执行命令`python -m venv sautexvenv`创建虚拟环境，为便于管理，建议将虚拟环境置于`sautex-evaluation-python-script`文件夹内 3. 执行`pip install -r requirements.txt`安装项目依赖项 4. 若需生成对应算法变体的评估报告，可修改`index.py`文件第13行的常量`VARIANT`的值为对应算法标识（`h*`、`h**`或`eng`） 5. 执行`python index.py`运行脚本，生成的评估报告将保存至项目文件夹中 ## 授权协议 本数据集采用CC BY 4.0协议发布。您可自由使用、分享及改编本数据集，但需注明恰当的引用来源。 ## 引用方式 若您使用本数据集，请引用如下文献： Ephraim Bernard. Hausa Names Soundex Dataset. 2025.
