Teklia/Belfort-line

Belfort-line数据集包含法国贝尔福市市政会议记录的文本行。这些文本行是通过自动模型提取的，可能存在分割错误。转录文本是通过众包活动获得的。所有图像都被调整为固定的128像素高度。数据集的结构包括图像和文本两个字段，图像是PIL.Image.Image对象，文本是图像的转录标签。数据集的语言为法语。

原始信息汇总

数据集概述

数据集名称

Belfort-line

数据集简介

Belfort数据集包含法国贝尔福市市政会议的记录。文本行是通过自动模型提取的，可能包含分割错误。转录是通过使用Callico网络平台进行的众包活动获得的。

语言

数据集中的所有文档均为法语。

数据集结构

数据实例

json { image: <PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=4300x128 at 0x1A800E8E190>, text: les intérêts des 30000 francs jusquau moment de la }

数据字段

• image: 一个PIL.Image.Image对象，包含图像。注意，当访问图像列（使用dataset[0]["image"]）时，图像文件会自动解码。解码大量图像文件可能会花费大量时间，因此应先查询样本索引再访问"image"列，即dataset[0]["image"]应始终优先于dataset["image"][0]。
• text: 图像的标签转录。

数据集特征

• 名称: image
  • 数据类型: image
• 名称: text
  • 数据类型: string

数据集分割

• 训练集: 97883个样本
• 验证集: 4519个样本
• 测试集: 2829个样本

数据集大小

105231个样本

标签

• atr
• htr
• ocr
• historical
• handwritten

搜集汇总

数据集介绍

构建方式

在历史文档数字化与手写文本识别领域，数据集的构建往往面临标注成本高昂与样本稀缺的挑战。Belfort-line数据集应运而生，其源自法国贝尔福市市政会议记录档案，通过自动化模型从原始文档中提取文本行，尽管这一过程可能引入分割误差。转录工作依托Callico网络平台，采用众包方式完成，有效整合了群体智慧以降低人工标注门槛。所有图像均被统一缩放至128像素的固定高度，确保输入尺寸的一致性，从而为后续模型训练奠定标准化基础。

特点

该数据集聚焦于法语历史手写文档的识别任务，涵盖训练集25800例、验证集3102例及测试集3819例，总计32721个图像-文本对，规模适中但具有鲜明的领域针对性。其独特之处在于图像数据直接来源于真实历史档案，保留了原始手写风格的多样性及潜在的噪声干扰，如墨水渗透、纸张老化等。此外，众包转录机制虽提升了标注效率，但也可能引入转录误差，使得数据集更贴近真实应用场景中的不完美条件，为评估识别算法的鲁棒性提供了宝贵资源。

使用方法

数据集以图像到文本的映射为核心，适用于光学字符识别（OCR）、手写文本识别（HTR）及属性转录识别（ATR）等任务。用户可通过Hugging Face Datasets库便捷加载，典型用法为按索引优先访问图像列以避免解码延迟，例如dataset[0]["image"]获取PIL图像对象，对应转录文本则存储于dataset[0]["text"]。推荐将数据划分为训练、验证与测试子集进行模型开发，并注意图像已预处理为固定高度，可直接输入卷积神经网络。对于分割误差与转录噪声，建议在训练中引入数据增强或噪声容忍策略以提升泛化能力。

背景与挑战

背景概述

在历史文献数字化进程中，手写文本识别（HTR）技术扮演着至关重要的角色，尤其对于保存和解读文化遗产而言。Belfort-line数据集由法国TEKLIA研究机构于2022年创建，聚焦于法国贝尔福市市政会议纪要的手写行级文本识别。该数据集包含32721个图像-文本对，其中训练集25800例、验证集3102例、测试集3819例，所有图像均被归一化为128像素固定高度。其核心研究问题在于探索如何通过众包标注方式高效构建高质量的手写文本数据集，以推动HTR模型在历史法语文献上的应用。该数据集的出现为手写文本识别领域提供了珍贵的真实场景数据，尤其针对19至20世纪法国行政手写文档的自动转录研究产生了重要推动作用。

当前挑战

Belfort-line数据集面临的首要挑战源于其构建方式：文本行通过自动模型提取，不可避免地存在分割误差，这对后续识别模型的性能构成显著影响。其次，转录文本通过Callico平台的众包活动获得，标注质量参差不齐，需要设计有效的质量控制机制来保证数据可靠性。从领域问题角度看，该数据集聚焦于历史法语手写文档的识别，这类文档常伴有褪色、墨迹渗透、纸张纹理干扰等复杂图像退化现象，且手写风格因人而异，增加了特征提取的难度。此外，法语中的连笔书写、缩写词及历史拼写变体也为模型带来了语言层面的挑战，要求识别系统具备较强的上下文语义理解能力。

常用场景

经典使用场景

Belfort-line数据集以法国贝尔福市市政会议记录为原始素材，通过自动模型提取文本行并经由众包平台Callico进行转录校正，构建了涵盖法语历史手写文档的行级图像-文本对。该数据集最经典的使用场景是作为手写文本识别（HTR）与光学字符识别（OCR）模型的训练与评估基准，尤其适用于处理历史文献中常见的复杂手写风格、褪色墨迹及版面噪声。其行级粒度设计使得研究者能够聚焦于文本行内的字符序列建模，从而提升模型对连笔书写和词汇变体的识别鲁棒性。

实际应用

在实际应用中，Belfort-line数据集支撑了历史档案的自动化转录系统开发，帮助档案馆、图书馆及文化遗产机构将海量手写会议记录、信件和登记簿转化为可搜索的电子文本。基于该数据集训练的模型可直接部署于数字人文平台，实现历史文档的快速索引与语义检索，从而辅助历史学家开展大规模文本分析，例如追踪城市治理决策的演变脉络。此外，该数据集也为众包转录平台的技术优化提供了验证基准，推动人机协作标注效率的提升。

衍生相关工作

该数据集衍生了一系列经典工作，包括基于卷积循环神经网络（CRNN）与注意力机制的手写文本识别模型，以及结合语言模型的后处理校正方法。相关研究利用该数据集探索了数据增强技术（如弹性变形、背景合成）对历史文档识别性能的提升，并提出了针对众包标注噪声的鲁棒训练策略。此外，部分工作将其作为多任务学习的测试床，联合优化文本检测与识别，或引入自监督预训练范式以减少对标注数据的依赖，这些成果均进一步拓展了历史手写文本分析的学术边界。