bdd-abbreviations-augmented
收藏资源简介：
BDD Abbreviations Augmented数据集是一个用于自动缩写扩展的平行语料库，主要用于对11世纪拉丁文手稿转录进行训练。数据集提供了缩写文本及其对应的完整扩展文本的配对示例。数据集是从五份关键的《布卡迪的教令》手稿中生成的，这些手稿由Burchards Dekret Digital项目团队转录。数据集的目标是训练字节级序列到序列模型，如ByT5，以辅助创建数字批判版。数据集的主要任务是翻译“图形”转录，即使用特殊的Unicode字符(MUFI)保留抄写员缩写，成为完全可读的扩展拉丁文本。
The BDD Abbreviations Augmented Dataset is a parallel corpus for automatic abbreviation expansion, primarily used for training on 11th-century Latin manuscript transcriptions. The dataset provides paired examples of abbreviated text and their corresponding fully expanded text. The dataset is generated from five key manuscripts of the Burchard's Decretals, which were transcribed by the Burchards Dekret Digital project team. The goal of this dataset is to train byte-level sequence-to-sequence models such as ByT5 to aid in the creation of digital critical editions. The core task of the dataset is to translate "graphic" transcriptions—those that retain scribal abbreviations using special Unicode characters (MUFI)—into fully readable, expanded Latin text.
Burchards Decretum Dataset Abbreviations Augmented 数据集概述
数据集简介
- 目的：用于11世纪拉丁文手稿转录中的自动缩写扩展，提供缩写文本（源）与完整扩展（目标）的配对示例。
- 来源：源自Burchards Dekret Digital (BDD)项目对《Burchards Decree》五个关键11世纪手稿的转录。
- 任务：将保留抄写缩写的“字素”转录转换为完全可读的扩展拉丁文本。
数据集详情
- 语言：中世纪拉丁语（
la）。 - 许可：Creative Commons Attribution-ShareAlike 4.0 International (CC BY-SA 4.0)。
- 数据量：10K<n<100K。
- 任务类型：文本生成（
text2text-generation）。
数据结构
- 数据实例：包含缩写拉丁文本（
source_text）和完整扩展文本（target_text）的JSON对象。 - 数据字段：
source_text：使用标准及特殊Unicode字符表示的缩写拉丁文本。target_text：对应的完整扩展拉丁文本。
- 数据分割：仅包含训练集。
数据来源
- 手稿来源：
- Bamberg, Staatsbibliothek, Msc. Can. 6
- Frankfurt, Universitätsbibliothek, Ms. Barth. 50
- Köln, Erzbischöfliche Diözesan- und Dombibliothek, Cod. 119
- Vatican, Biblioteca Apostolica Vaticana, Pal. lat. 585
- Vatican, Biblioteca Apostolica Vaticana, Pal. lat. 586
注释与生成
- 注释过程：BDD项目编辑转录并扩展手稿中的缩写，使用TEI-XML的
<choice>元素编码。 - 配对生成：通过脚本处理TEI文件，使用3行滑动窗口提供上下文，提取
<abbr>和<expan>标签生成配对。
使用注意事项
- 专业性：数据集高度专业化，反映11世纪初Worms抄写实践，可能不适用于其他时期或地区的手稿。
- 局限性：模型仅能扩展训练数据中出现的缩写，无法处理未包含的缩写。
引用信息
bibtex @misc{schonhardt_bdd_abbreviations_2025, author = {Schonhardt, Michael}, title = {BDD Abbreviations Augmented: A Parallel Corpus for Abbreviation Expansion in Medieval Latin}, year = {2025}, institution = {Burchards Dekret Digital}, doi={https://doi.org/10.5281/zenodo.16735498}, howpublished = {url{https://huggingface.co/datasets/mschonhardt/bdd-abbreviations-augmented}} }
