himalaya-ai/indic-deva-ocr-eval

indic_deva_eval是一个广泛的Indic Devanagari OCR基准测试，涵盖印刷页面、数字、单词裁剪和手写内容。

Broad Indic Devanagari OCR benchmark across printed pages, digits, word crops, and handwriting.

搜集汇总

数据集介绍

构建方式

该数据集基于天城文（Devanagari）光学字符识别（OCR）领域构建，整合了来自多个子数据集的测试样本。具体构建方式为：从六个来源按比例抽样，包括印刷页面OCR（25%）、视觉基准天城文OCR（25%）、印地语和马拉地语单词OCR（各15%）、手写单词OCR（15%）以及天城文数字（5%）。所有样本均通过脚本从GLM微调工作区采样生成，确保测试集的代表性和平衡性。

使用方法

数据集的官方格式为JSONL文件，包含图像路径和OCR标签列，可直接用于OCR模型的评估。此外，提供可选的ShareGPT格式文件，支持对话式微调。用户可通过Hugging Face Datasets库加载默认配置的测试集，或基于原始JSONL文件进行自定义评估。建议在训练时排除仅暴露训练集的确定性保留行，以维持测试集的纯净性。

背景与挑战

背景概述

天城文（Devanagari）作为印度次大陆广泛使用的书写系统，涵盖印地语、尼泊尔语、马拉地语等多种语言，其光学字符识别（OCR）研究对数字化文化遗产与多语言信息处理具有重要意义。Indic Deva Eval数据集由Himalaya AI团队于近期创建，旨在为天城文OCR提供统一的评估基准。该数据集整合了六类来源，包括印刷页面、数字、单词裁剪和手写样本，覆盖25%的印刷页面OCR、25%的视觉基准测试、各15%的印地语和马拉地语单词OCR、15%的手写单词以及5%的数字识别，共计约2000个样本。其核心研究问题在于构建一个兼顾多样性、真实性与语言覆盖面的评估平台，以推动天城文OCR模型从实验室向实际应用场景的转化。作为GLM微调工作的一部分，该数据集填补了天城文OCR领域缺乏综合性开放基准的空白，对印度语言信息处理社区具有显著影响力。

当前挑战

天城文OCR面临的核心挑战在于字符连笔（Shirorekha）的结构复杂性以及手写变体的高度歧义性，现有模型常因训练数据分布不均衡而难以泛化到页面与手写混合场景。Indic Deva Eval在构建过程中需解决多重困难：首先，需从分散的私有仓库中提取并统一标注格式，如不同来源的OCR标签（如.ocr.jsonl与.sharegpt.json）需对齐字段；其次，跨语言（印地语、尼泊尔语、马拉地语）的字符集差异与方言拼写变体增加了标注一致性维护的复杂度；再次，手写样本与印刷字体的成像质量（如倾斜、光照不均）导致低对比度图像难以辨识；最后，仅5%的数字样本占比使得模型在数字识别路径上易出现过拟合风险，需通过数据去重与保留集划分来防止训练污染。

常用场景

经典使用场景

在天城文光学字符识别（OCR）研究领域，indic-deva-ocr-eval数据集作为一项覆盖广泛的综合评测基准，扮演着不可或缺的角色。该数据集巧妙地将印刷页面、数字、单词裁剪片段与手写体等多模态样本融为一体，涵盖了尼泊尔语、印地语和马拉地语等主要使用天城文的语言。研究者常利用该数据集对不同OCR模型在天城文场景下的泛化能力进行系统性评估，通过统一的测试协议衡量模型在真实世界噪声、字体异变与书写风格差异下的鲁棒性。其精巧的样本组合设计，使得无论是端到端的图像到文本模型，还是传统流水线OCR框架，都能在此基准上获得全面且公允的性能判据。

解决学术问题

长久以来，天城文OCR研究面临的最大瓶颈在于缺乏涵盖多种子任务与语言变体的标准化评测资源，导致不同方法之间难以进行客观对比。indic-deva-ocr-eval数据集的诞生精准地填补了这一空白，它为学术界提供了一个可复现、可扩展的公平竞技场。通过整合来自五个不同来源的测试样本，该数据集解决了跨领域迁移评估困难的问题，使得研究者能够深入剖析模型在处理印刷体与手写体、连续文本与离散数字、常见词汇与生僻字串时的表现差异。这一基准的建立，不仅推动了天城文OCR从碎片化评价走向系统化验证的范式转变，更催生了一系列针对低资源文字识别的前沿理论探索，为多语言OCR技术的普适性研究奠定了坚实的实验基础。

实际应用

在实际产业应用中，indic-deva-ocr-eval数据集的价值体现在多个关键场景的赋能上。数字图书馆建设领域，该数据集帮助验证OCR系统对历史文献和现代印刷品的转录精度，确保南亚次大陆丰富的文化遗产能够被准确数字化。在银行与政务服务场景中，包含数字和手写单词的测试样本使得支票识别、表格信息提取等金融自动化流程获得了可靠的性能保障。移动端文档扫描应用也可借助该基准评估其对天城文菜单、路牌和证件等日常物件的识别能力。此外，该数据集还为智能教育工具提供了底层支撑——通过评测手写体OCR模型，辅助完成学生作业的自动批改与词汇学习系统的构建，将文字识别技术切实转化为提升教育与办公效率的生产力。

数据集最近研究

最新研究方向

在印度次大陆数字人文与多语种OCR领域，indic-deva-ocr-eval基准数据集整合了印刷页面、数字、单词片段及手写体等多种天城文变体，为评估跨语言（尼泊尔语、印地语、马拉地语）的光学字符识别模型提供了标准化测试平台。该数据集源自GLM微调工作流，通过混合多源子集（如天城文页面OCR、Indic视觉基准及手写单词）构建均衡评估集，有效规避了单一来源的偏差。其对混合脚本复杂性的覆盖，推动了弱监督预训练模型在低资源语言上的零样本泛化研究，并引发了针对文化遗产数字化与多语种文档解析的算法优化热潮。这一基准的发布，不仅深化了印刷体向手写体、数字向上下文迁移的鲁棒性研究，更为建设包容性印度语言AI基础设施提供了关键测评依据。