dh-unibe/kurrent-hanse-xvi-test-lines-noaugment

该数据集包含164个样本，分布在1个分割中。This dataset contains 164 samples across 1 split(s).

搜集汇总

数据集介绍

构建方式

该数据集源自历史手写文本识别领域，专门针对16世纪汉萨同盟时期的库伦特手写体（Kurrentschrift）构建。数据集通过Transkribus平台导出的PageXML格式数据，经由pagexml-hf转换器处理而成。原始数据包含扫描文档的版面分析信息，包括文本行坐标、基线位置及区域类型等结构化标注。转换过程中保留了完整的元数据层级，每个样本均包含图像、转录文本、行与区域的标识符及阅读顺序。数据以Parquet分片格式存储于HuggingFace Hub，训练集包含164个样本。

特点

该数据集具有高精度的结构化标注特点。除核心的图像与文本对外，每条记录包含行级和区域级的坐标信息、基线数据以及阅读顺序，支持将文本行还原至原始页面的空间布局。每个样本关联唯一的line_id和region_id，便于跨数据集引用。数据集采用'noaugment'策略，即不对图像进行数据增强，为测试模型在原始条件下的识别性能提供了基准。此外，数据集包含具体的项目名称，指向历史文献的具体出处，增强了数据的可追溯性。

使用方法

数据集可通过HuggingFace Datasets库便捷加载。用户使用load_dataset函数指定数据集标识符'jwidmer/kurrent-hanse-xvi-test-lines-noaugment'即可获取全部数据。支持按划分选择特定子集，例如通过split='train'参数加载训练数据。加载后的数据以Parquet格式存储，包含图像、文本及丰富的版面结构信息，可直接用于图像到文本的光学字符识别（OCR）模型训练、转录任务评估或版面分析研究。数据集的MIT许可证允许广泛的学术及商业应用。

背景与挑战

背景概述

在历史文献数字化与古文字识别领域，基于深度学习的端到端手写文本识别（HTR）模型日益成为解析中世纪手稿的关键工具。该数据集由研究员Jwidmer于近期创建，源自Transkribus平台的PageXML标注数据，聚焦于16世纪汉萨同盟会议记录（Hanserezess）的珍贵手稿。核心研究问题在于如何构建一个未经数据增强的基准测试集，以评估模型对古德语库伦特字体（Kurrent）的识别鲁棒性。尽管规模精简（仅164个样本），该数据集通过精细的行级标注与文本转录，为光学字符识别（OCR）与HTR模型在历史文档领域的泛化能力提供了严苛的验证基准，对推动小样本场景下的中世纪手稿自动化转录研究具有独特价值。

当前挑战

该数据集所应对的核心领域挑战在于历史手稿识别中的极端数据稀缺性与字体多样性问题，尤其是库伦特手写体因其复杂的连笔、退化与噪声背景，常导致现代HTR模型性能骤降。构建过程中，主要挑战包括：其一，原始PageXML数据需经繁琐的格式转换与清洗，以确保行级坐标、基线及区域类型的语义一致性；其二，仅有164个样本的极小规模限制了数据分布的代表性，易引发过拟合与泛化性不足；其三，缺乏数据增强手段旨在保留原始笔迹的真实退化特征，却加剧了模型对噪声与变体的脆弱性。这些矛盾使得数据集在评估模型鲁棒性时面临严苛的测试环境与技术瓶颈。

常用场景

经典使用场景

在历史文档分析与光学字符识别领域，该数据集为针对16世纪德国汉萨同盟手写文本的识别任务提供了珍贵的基准资源。其包含164条标注行级图像与转录文本，每条样本均附带详细的版面结构信息，包括行坐标、基线坐标及区域类型等元数据，专为训练和评估基于深度学习的行级手写文本识别模型而设计。利用这些数据，研究者能够构建端到端的图像到文本转换系统，尤其适用于历史手写体的精确转录场景。

实际应用

在实际应用层面，该数据集赋能了文化遗产数字化保护的关键环节，使档案馆和图书馆能够自动化处理大批量16世纪汉萨同盟时期的商业契约与行政文件。通过部署基于该数据集训练的识别模型，机构可实现从手写页面图像快速生成可搜索的电子文本，极大提升文献整理效率。此外，该数据集还可服务于历史学家的文本挖掘研究，并支撑面向公众的数字展览平台构建，让珍贵的历史文献焕发新的生命力。

衍生相关工作

该数据集衍生工作主要围绕手写文本识别模型优化与数据增强策略展开。研究者基于其精细的版面标注信息，开发了结合行基线预测与注意力机制的端到端识别架构。此外，该数据集的忠实记录特性使其成为评估数据增强对历史文本识别鲁棒性影响的标准测试床，催生了多项关于噪声注入、几何变换与风格迁移增强方法的比较研究。这些工作共同推动了对古文字识别领域过拟合问题的系统性探索，为相关模型泛化能力提升奠定了方法论基础。