himalaya-ai/devanagari_ocr_graphemes

该数据集是一个用于天城文（Devanagari）脚本的字形级别光学字符识别（OCR）数据集。每个数据点包含一个单独字形的图像及其对应的Unicode文本，旨在支持多模态模型的监督微调，特别是用于训练模型将天城文字形图像映射到文本。数据集以ShareGPT格式提供，包括PNG图像文件夹和一个JSON文件，适用于LLaMA‑Factory等工具。

This dataset is a glyph-level optical character recognition (OCR) dataset for the Devanagari script. Each data point consists of an image of a single glyph and its corresponding Unicode text, which is designed to support supervised fine-tuning of multimodal models, particularly for training models to map Devanagari glyph images to text. The dataset is provided in the ShareGPT format, including a PNG image folder and a JSON file, and is compatible with tools such as LLaMA-Factory.

搜集汇总

数据集介绍

构建方式

Devanagari OCR Graphemes数据集专注于天城文（Devanagari）的语素级别光学字符识别（OCR）任务，其构建方式彰显了精细化与系统化的特征。该数据集由独立的语素图像及其对应的Unicode文本组成，所有图像以PNG格式存储于统一的目录中，并通过唯一文件名进行索引。为满足多模态监督微调需求，数据以ShareGPT格式封装为JSON文件，每条记录严格遵循包含用户与助手消息的结构化对话模板，其中用户消息嵌入<image>标签指向特定图像，助手消息则输出准确的Unicode字符文本。这种设计确保了图像与文本之间的精确对齐，为模型提供了高质量的序列化训练样本。

特点

该数据集的核心特点在于其面向天城文OCR任务的语素级粒度，覆盖了包括尼泊尔语、印地语和梵语在内的多种语言，展现了跨语言的文化融合魅力。规模介于1万至10万样本之间，在保证数据多样性与训练有效性的同时，避免了冗余。数据以ShareGPT格式组织，天然适配LLaMA-Factory等现代微调框架，简化了模型输入的处理流程。此外，采用CC-BY-4.0许可协议，允许学术与商业用途的自由使用与改编，只需附上适当归属，极大促进了数据集的共享与再创新。

使用方法

使用Devanagari OCR Graphemes数据集进行模型训练，过程直观且高度集成。用户首先需克隆本仓库并安装huggingface_hub等必要工具，随后在训练脚本中直接指向devanagari_ocr_graphemes.json文件，并确保data/目录所在路径可被访问。该格式与LLaMA-Factory无缝兼容，支持多模态模型的监督微调：模型通过解析用户消息中的<image>标记加载对应图像，从而学习从图像语素到Unicode文本的映射关系。这种端到端的数据交付方式大幅降低了预处理复杂度，使研究者能专注于模型架构的优化与OCR任务的深度探索。

背景与挑战

背景概述

天城文（Devanagari）作为印度次大陆广泛使用的书写系统，承载着印地语、尼泊尔语、梵语等多种重要语言的书面表达。近年来，随着数字人文与低资源语言处理研究的兴起，面向天城文的自动识别技术成为自然语言处理与计算机视觉交叉领域的关键课题。该数据集由Shubham Karampure等人于2024年创建，源于Kaggle平台，专门聚焦于天城文字符的字素级光学字符识别（OCR）。其核心研究问题在于：如何从单字素图像中精准解码对应的Unicode文本，从而为天城文文档数字化、古籍保存及多语言OCR系统提供基础数据支撑。该数据集以10K至100K量级的规模，结合ShareGPT格式的标注方案，为多模态语言模型的微调提供了标准化训练素材，对推动南亚语系文本理解技术的发展具有重要参考价值。

当前挑战

该数据集所面临的挑战体现在两个层面。在领域问题层面，天城文作为附着于婆罗米系文字的复杂音节书写系统，其字素形态多变、连字规则繁复，加之字符正字法变体与手写风格差异，使得从图像到文本的映射比拉丁字母OCR更为困难。现有模型在面对形似字素（如‘क’与‘ख’）及上下结构字符（如‘क्’）时易产生混淆，制约了识别精度的提升。在构建过程层面，数据集的创建需严格确保字素图像与Unicode标注的一致性，由于天城文字符存在大量异体字与历史变体，人工标注与自动校验的平衡成为瓶颈。此外，数据样本来源于受限的印刷体或特定字体，缺乏对自然手写体、古籍扫描件及噪声环境的覆盖，限制了模型在真实场景中的泛化能力。

常用场景

经典使用场景

Devanagari OCR Graphemes数据集的核心应用在于为天城文（Devanagari）的光学字符识别（OCR）任务提供标准化的字素级训练与评估资源。该数据集以单字素图像及其对应的Unicode文本为基本单元，采用ShareGPT格式组织，特别适用于多模态大语言模型的监督微调。研究者可利用该数据集训练模型从图像中精准识别天城文字符，涵盖梵语、印地语和尼泊尔语等语言系统。其经典使用场景包括建立端到端的字素识别管线、验证视觉语言模型在低资源文字上的泛化能力，以及作为基准数据集对比不同OCR架构（如CNN、Transformer或多模态模型）的字素识别性能。

实际应用

在实际应用中，该数据集驱动的技术已广泛服务于天城文文化资源的数字化工程。基于该数据集训练的OCR模型可高效扫描并转写梵语古籍、印地语印刷品和尼泊尔语文献，显著降低人工转录成本。在人文社科学术领域，该技术支撑着大规模梵语文献语料库的构建，助力佛经、吠陀文献的数字化归档。在商业场景中，其衍生模型被集成至文档管理系统，实现天城文单据、证件和图书的自动录入。此外，该数据集还为多语言机器翻译系统的文字预处理模块提供了关键支撑，确保输入文本的字符级准确性，并推动了移动端天城文图像翻译应用的开发。

衍生相关工作

该数据集已衍生出多项具有影响力的研究工作。在模型架构层面，基于此数据集，研究者提出了针对天城文字素结构优化的多任务学习框架，联合预测字根、声母和韵母等子字素成分。在数据增强领域，有工作探索了合成天城文字素图像与对抗生成技术以扩展训练数据，提升了模型对字体和噪声的鲁棒性。在多模态学习方向，该数据集与语言模型结合催生了视觉问答系统，实现了对天城文文档的语义理解。此外，该数据集还被应用于跨脚本迁移学习研究，验证了从天城文到现代标准波斯语-阿拉伯文等书写系统的特征迁移能力，为统一多文字OCR系统奠定了基础。