indic-deva-ocr-eval

Indic Deva Eval 是一个专为评估印度天城文（Devanagari）光学字符识别（OCR）系统性能而构建的综合性基准数据集。该数据集旨在广泛覆盖多种OCR应用场景，包括印刷文档页面、独立数字、裁剪出的单词图像以及手写文本，以全面测试模型在不同条件下的识别能力。数据集包含多个子集的混合样本，具体构成如下：25%来自`devanagari_page_ocr`的测试集，25%来自`indic_vision_bench_deva_ocr`的OCR测试集，30%来自`indic_mozhi_deva_word_ocr`（其中印地语和马拉地语各占15%的测试集），15%来自`hindi_handwritten_word_ocr`的测试集，以及5%来自`devanagari_digits_mixed`的训练集。这种混合确保了数据在来源和任务类型上的多样性。数据以两种主要格式提供：1）核心的`.ocr.jsonl`文件，其中包含`image`（图像文件相对路径）、`ocr`（真实文本标签）、`source_repo`（来源仓库）以及语言/来源信息等列；2）可选的`.sharegpt.json`文件，适用于模型微调和评估，包含`messages`和`images`字段。每个样本都有一个唯一的`id`标识符。数据集支持尼泊尔语（ne）、印地语（hi）和马拉地语（mr）三种使用天城文书写的语言。它主要适用于图像到文本的OCR任务，可作为模型评估基准或微调数据源。需要注意的是，数据集由`scripts/sample_ocr_eval_sets.py`脚本从GLM微调工作区生成，在使用时，若原始数据源仅提供训练分割，应确保将确定的保留行ID排除在监督微调（SFT）或训练运行之外。

Indic Deva Eval is a comprehensive benchmark dataset specifically constructed for evaluating the performance of optical character recognition (OCR) systems for Indian Devanagari script. The dataset aims to broadly cover various OCR application scenarios, including printed document pages, isolated digits, cropped word images, and handwritten text, to comprehensively test model recognition capabilities under different conditions. The dataset consists of mixed samples from multiple subsets, with the specific composition as follows: 25% from the test set of `devanagari_page_ocr`, 25% from the OCR test set of `indic_vision_bench_deva_ocr`, 30% from `indic_mozhi_deva_word_ocr` (with Hindi and Marathi each accounting for 15% of the test set), 15% from the test set of `hindi_handwritten_word_ocr`, and 5% from the training set of `devanagari_digits_mixed`. This mixture ensures diversity in data sources and task types. The data is provided in two main formats: 1) the core `.ocr.jsonl` file, which includes columns such as `image` (relative path to image file), `ocr` (ground truth text label), `source_repo` (source repository), and language/source information; 2) an optional `.sharegpt.json` file, suitable for model fine-tuning and evaluation, containing `messages` and `images` fields. Each sample has a unique `id` identifier. The dataset supports three languages written in Devanagari script: Nepali (ne), Hindi (hi), and Marathi (mr). It is primarily applicable to image-to-text OCR tasks and can serve as a model evaluation benchmark or fine-tuning data source. It is important to note that the dataset is generated by the `scripts/sample_ocr_eval_sets.py` script from the GLM fine-tuning workspace, and when using it, if the original data source only provides training splits, care should be taken to exclude the determined reserved row IDs from supervised fine-tuning (SFT) or training runs.

原始信息汇总

数据集概述：Indic Deva Eval

• 数据集名称：Indic Deva Eval
• 任务类别：图像到文本（image-to-text）
• 语言：尼泊尔语（ne）、印地语（hi）、马拉地语（mr）
• 标签：OCR、天城文（Devanagari）、GLM-OCR
• 漂亮名称：Indic Deva Eval

数据集描述

该数据集是一个广泛的天城文OCR基准测试，涵盖印刷页面、数字、单词裁剪和手写内容。

关键信息

• 主要原始文件：*.ocr.jsonl，包含图像、OCR文本、来源仓库、语言和来源列。
• 可选微调/评估文件：*.sharegpt.json，包含消息和图像。

核心列

• id：唯一样本标识符
• image：图像文件的相对路径
• ocr：真实文本标签

数据来源组合

来源	拆分	占比
devanagari_page_ocr	default/test	25%
indic_vision_bench_deva_ocr	ocr/test	25%
indic_mozhi_deva_word_ocr	hindi/test	15%
indic_mozhi_deva_word_ocr	marathi/test	15%
hindi_handwritten_word_ocr	default/test	15%
devanagari_digits_mixed	default/train	5%

配置

• 配置名称：default
• 数据文件：
  • 拆分：test
  • 路径：indic_deva_eval.viewer.ocr.parquet

备注

• 该数据集由GLM微调工作区中的 scripts/sample_ocr_eval_sets.py 生成。
• 如果某个来源仅提供了训练拆分，请确保将确定的保留行ID排除在SFT/训练运行之外。

搜集汇总

数据集介绍

构建方式

该数据集融合了六种不同来源的印刷文本、数字、单词裁剪及手写体样本，旨在构建一个广泛涵盖天城文OCR任务的基准测试集。各子集按预设比例混合，包括25%的天城文页面OCR、25%的印度视觉基准天城文OCR、15%的印度莫孜天城文单词OCR（印地语与马拉地语各占一半）、15%的印地语手写单词OCR以及5%的天城文数字样本。数据集的生成依赖于GLM微调工作流中的脚本，通过确定性保留特定行ID的方式，确保某些仅提供训练分割的来源样本不会被用于监督微调或训练过程。

特点

该基准测试集合具有鲜明的多领域覆盖特性，从印刷文本到手写识别，从完整页面到单词级别，再到数字形态，全面检验模型在天城文OCR任务上的泛化能力。每个样本均包含唯一标识符、图像相对路径和真实文本标签等核心字段，并附带了来源仓库及语言归属信息，便于追溯与生态维护。数据集的配置设计简洁，仅提供一个默认的测试分割，直接服务于模型评估场景。

使用方法

用户可通过指定的配置名称'default'加载该数据集，其数据文件为Parquet格式，适用于图像到文本的转换任务。使用时，应参考各样本的'image'字段定位图像文件，并利用'ocr'字段中的真实标签进行模型性能评估。若某些子集仅提供训练分割，则需注意避免将留出的确定性行ID纳入监督微调或训练过程中，以保持评估的独立性与公平性。

背景与挑战

背景概述

印地语、尼泊尔语、马拉地语等语言广泛使用天城文，其字符结构与连字系统极为复杂，对光学字符识别（OCR）技术构成了严峻挑战。现有基准测试往往仅聚焦于单一场景或受限于特定数据集，缺乏全面评估模型在多种天城文任务上表现的综合体系。在此背景下，由Himalaya AI研究团队创建的Indic Deva Eval基准测试应运而生，于近年推出并专注于天城文OCR评估。该数据集整合了印刷页脚、数字识别、单词裁剪及手写体等五大子集，覆盖语言、字体与书写风格多样性，旨在系统性地评测OCR模型在天城文任务中的鲁棒性与泛化能力。作为GLM等大规模多模态模型微调与评估的关键资源，Indic Deva Eval推动了面向印度语言文本智能处理技术的发展。

当前挑战

Indic Deva Eval所解决的核心领域问题在于天城文OCR模型的泛化性能不足，其字符空间复杂、连字规则多变，且字体与书写风格跨度大，现有模型常在单一子集上表现优异，但跨场景迁移能力弱。在数据集构建过程中，研究者面临多重挑战：首先，需从多个不同来源（如印刷页、手写词、数字混合等）整合数据，保证标注一致性，同时解决部分子集仅暴露训练集导致评估集划分准则模糊的问题；其次，需设计合理的采样比例以平衡各子集分布，避免模型对某类数据产生偏移；此外，手写体与印刷体自然标注难度差异大，需确保OCR标签精准，方能可靠评估模型真实能力。

常用场景

经典使用场景

在光学字符识别（OCR）领域，印度天城文（Devanagari）因其复杂的连字结构和丰富的字符集，长期以来一直是技术攻关的难点。indic-deva-ocr-eval数据集应运而生，成为评估OCR模型在天城文场景中性能的经典基准。该数据集整合了印刷页面、数字、单词裁剪以及手写体等多种图像类型，为研究者提供了一个全面且均衡的测试平台。其设计精巧，通过涵盖不同来源和语言（如印地语、尼泊尔语、马拉地语）的子集，能够系统性地检验模型在排版规则、字体变化和手写风格多样性下的鲁棒性与泛化能力，从而推动OCR技术在低资源语言上的进步。

实际应用

在实际应用中，indic-deva-ocr-eval数据集为天城文OCR技术的落地提供了一把精准的“标尺”。在电子政务领域，它可用来检验用于处理印地语、马拉地语等官方文档的OCR系统，确保从表格、证照到历史档案的自动录入准确无误。在教育领域，该数据集帮助评估手写作业识别系统，助力数字阅卷与学习平台的无纸化转型。对于金融和出版业，它能验证印刷报纸、支票以及古籍数字化流程中OCR的质量，确保大规模文本提取的可靠性。通过模拟真实世界中多样化的图像条件，该数据集确保了技术研发与实际部署之间的一致性。

衍生相关工作

该数据集的诞生衍生了一系列具有影响力的经典工作。首先，它催生了专为天城文优化的多任务OCR框架，这些工作利用数据集的跨类别样本（如同时包含印刷体和手写体）设计共享特征提取器，提升了模型在不同字迹间的迁移能力。其次，研究者基于其细致的标注，发展出针对天城文连字切分与识别的端到端方法，大幅减少了对复杂预处理管线的依赖。此外，该数据集还启发了面向跨语种零样本学习的研究，学者们通过分析其子集间的域差异，探索了如何将印地语OCR模型泛化至其他天城文字族语言，为低资源语言的OCR研究开辟了新路径。