AlbertoChestnut/telugu-ocr

一个对齐的扫描页面图像和人工转录的泰卢固语文本语料库，来源于泰卢固语维基文库。专为OCR模型训练和评估而构建。

A corpus of aligned scanned page images and human-transcribed Telugu text, sourced from Telugu Wikisource. Built for OCR model training and evaluation.

搜集汇总

数据集介绍

构建方式

本数据集源于泰卢固语维基文库（Telugu Wikisource），通过系统化采集与人工校验相结合的方式构建而成。研究团队从221本古籍中提取了约25,565组图像-文本配对数据，涵盖扫描页面与对应的人工转录文本。每部著作均以独立目录存储，包含连续的JPEG扫描图像与UTF-8编码的TXT文本文件，并配备meta.json元数据文件记录每页的校对质量等级。全局的corpus_profile.json文件则索引了所有书籍的审核状态与语言特征统计，确保数据来源的透明性与可追溯性。

使用方法

研究者可直接从HuggingFace数据集页面下载压缩包，解压后按书籍目录结构访问图像与文本配对。对于OCR模型训练，推荐优先选取meta.json中quality字段为3或4的页面作为训练样本。数据集内置的corpus_profile.json与curation_decisions.json文件可辅助用户快速筛选已批准的高质量书籍，避免手动检查。如需复现论文结果或进行基准测试，建议引用数据集编号与BibTeX格式的出处信息，并在模型评估时均衡选用不同难度等级的页面以全面检验性能。

背景与挑战

背景概述

该数据集名为Telugu OCR Dataset，由Alberto J. Chestnut于2026年创建，旨在为泰卢固语（Telugu）光学字符识别（OCR）模型提供训练与评估的标准化数据。泰卢固语是印度使用广泛的语言之一，拥有丰富的文学遗产，但数字化进程中缺乏高质量的图文对齐语料。该数据集从泰卢固语维基文库（Telugu Wikisource）采集了约25,565对扫描页面与人工转写文本，覆盖221本书籍，总计约11GB容量。其核心贡献在于构建了一个经过严格筛选的标注资源，包含每本书的元数据（如语言纯度、质量等级）和策展决策记录，为低资源语言的OCR研究提供了可靠基准，对推动印度语言文本数字化与自然语言处理研究具有重要影响。

当前挑战

该数据集所解决的领域问题挑战在于，泰卢固语作为低资源语言，缺乏足量且高质量的图文对齐数据集用于OCR模型训练，现有通用OCR工具难以准确识别其复杂的音节文字和连字结构。在构建过程中，挑战包括从维基文库的ProofreadPage系统中获取不一致的转录质量，许多页面仅有未审阅的草稿（等级1）或标记为有问题的文本（等级2），需要依赖人工审阅和验证（等级3-4）作为可靠标注。此外，页面编号不连续（因缺失转写页面）、语言纯度自动筛选（要求≥80%泰卢固字符比例）以及排除不合规书籍的策展决策，均增加了数据集的构建复杂度与时间成本。

常用场景

经典使用场景

Telugu OCR数据集（telugu-ocr）在光学字符识别（OCR）领域扮演着基石角色，尤其专注于泰卢固语（Telugu）这一达罗毗荼语系文字的识别。该数据集汇集了约25,565对、源自泰卢固语维基文库的扫描页面图像及其人工转录的文本对，为训练和评估端到端的图像到文本模型提供了高质量的标注资源。研究者常将其用于构建和测试深度学习OCR流水线，包括卷积神经网络（CNN）与循环神经网络（RNN）结合的序列识别模型，或基于Transformer架构的图像理解模型。其细粒度的质量标注（如ProofreadPage验证等级）允许研究人员在不同的可信度水平上筛选训练样本，从而模拟真实世界中由噪声和排版多样性带来的挑战。该数据集亦被用作零样本或低资源OCR场景的基准，推动着多语种、非拉丁文字OCR技术的边界拓展。

解决学术问题

该数据集直接应对了低资源语言OCR研究中长期存在的标注数据匮乏与标准化评估缺失这一核心瓶颈。在泰卢固语等复杂书写系统中，字符形态多变且连笔现象丰富，传统OCR模型常因训练集规模不足或领域偏差而泛化能力薄弱。telugu-ocr通过提供大规模、跨书籍的图文对齐数据，使研究者能够系统性地探究影响识别精度的关键因素，例如印刷质量、布局多样性以及字符频率分布。基于该数据集，学界得以开展针对泰卢固语自身的词汇错误率（WER）与字符错误率（CER）的严谨评估，填补了该语种在OCR评测中的空白。此外，数据集内嵌的curation_decisions.json文件为自动化数据清洗和弱监督学习提供了参考标准，推动了数据质量评估方法学的发展，其意义在于为其他低资源语种的OCR数据集构建树立了可复现的范本。

实际应用

在实际应用中，telugu-ocr数据集支撑着泰卢固语文化典籍的数字化保存与可访问性提升工程。许多历史文献和学术著作仅存于纸质媒介，通过在该数据集上训练的OCR模型，图书馆与文化遗产机构能够将海量扫描书籍自动转换为可搜索的电子文本。例如，泰卢固语维基文库的志愿者可利用该模型快速校对未被证明阅读（not_proofread）的页面，大幅降低人工转录的劳动成本。在商业领域，该数据集可用于开发面向泰卢固语用户的文档扫描应用、发票识别系统及智能阅读辅助工具，帮助跨越数字鸿沟。教育机构亦可借助此类技术将教材数字化，为偏远地区的学生提供更便捷的学习资源。该数据集的CC BY-SA 4.0许可协议确保了其衍生模型能够被广泛部署，促进了开源OCR生态的繁荣。

数据集最近研究

最新研究方向

Telugu OCR数据集为低资源语言的光学字符识别研究提供了高质量的图像-文本对齐语料，当前研究聚焦于利用该数据集训练端到端的深度学习模型，以突破泰卢固语复杂字符组合与连字结构的识别瓶颈。结合Wikisource的多级人工审校机制（ProofreadPage），研究者可区分不同质量层次的真值数据，从而构建鲁棒性更强的OCR系统，推动古籍数字化和南印度语言文献的自动化处理进程。此外，该数据集的开放许可和结构化元数据也为跨语言迁移学习和多模态文档分析领域贡献了关键基准资源。