Data for Finnish Dialect Detection

The data used in the paper "Finnish Dialect Identification: The Effect of Audio and Text". <strong>If you use the data, please cite:</strong> Hämäläinen, Mika; Alnajjar, Khalid; Partanen, Niko &amp; Rueter, Jack (2021). Finnish Dialect Identification: The Effect of Audio and Text. In <em>Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP)</em>. The <strong>metadata.json </strong>contains the dialectal and normalized transcriptions, the length of the wav files in milliseconds, the path to the wav file, the role of the speaker and the dialect. The <strong>data.zip*</strong> files contain the wav files. They are partial zip files to make Zenodo upload easier. <strong>Code_models.zip</strong> contains the code for training the bimodal model and the final trained model presented in the paper. There is also an OpenNMT model that is the text only model described in the paper. You can use it by running: <em>python3 -m onmt.bin.translate -model nmt-model_step_100000.pt -src source_test.txt -output pred.txt -replace_unk</em> Our dataset is licensed under CC BY NC ND 4.0. Academic use only. The corpus is based on Suomenkielen näytteitä (CC BY Kotimaisten kielten keskus).本研究使用的数据集来自论文《芬兰方言识别：音频与文本的影响》。若使用本数据集，请引用如下文献：米卡·哈马莱宁（Mika Hämäläinen）、哈立德·阿尔纳贾尔（Khalid Alnajjar）、尼科·帕塔宁（Niko Partanen）与杰克·鲁伊特（Jack Rueter）于2021年发表的《芬兰方言识别：音频与文本的影响》，收录于《2021年自然语言处理经验方法会议（EMNLP）论文集》。metadata.json 文件包含方言转录文本与归一化转录内容、波形音频（WAV）文件的时长（单位：毫秒）、WAV文件存储路径、说话者角色及其所属方言信息。data.zip* 系列文件包含WAV音频文件，这些为分卷压缩包，以简化Zenodo平台的上传流程。Code_models.zip 文件包含论文中提及的双模态模型训练代码与最终训练完成的模型，同时还包含论文介绍的纯文本模型——OpenNMT模型。您可通过执行以下命令运行该模型：python3 -m onmt.bin.translate -model nmt-model_step_100000.pt -src source_test.txt -output pred.txt -replace_unk。本数据集采用CC BY-NC-ND 4.0（知识共享署名-非商业性使用-禁止演绎4.0）许可协议授权，仅可用于学术研究用途。本语料库基于《Suomenkielen näytteitä》构建，原作品采用CC BY许可协议，由芬兰国家语言中心（Kotimaisten kielten keskus）发布。