mdpbench-doc-ocr-sft

mdpbench-doc-ocr-sft 是一个专为文档图像到文本（OCR/文档解析）任务设计的监督微调（SFT）数据集，旨在支持Qwen 4B等多模态大语言模型在韩语和日语文档理解方面的能力，当前仅公开了韩语（ko）配置部分。数据来源于韩国地方政府发行的报纸形式通讯刊物，属于公共著作物，遵循韩国著作权法，允许用于非商业及研究目的。数据规模约为2,407个样本，每个样本包含一个文档页面图像（以250 DPI从PDF渲染得到）和对应的真实文本标注，标注采用Markdown格式，保留了原文的版面结构信息（如表格和阅读顺序）。真实标签的生成结合了PaddleOCR-VL-1.6和Qwen3.5-9B模型的输出共识，并利用原始PDF的文本层进行验证。数据集经过严格筛选，确保与MDPBench官方测试集零重叠，避免了数据污染问题，适用于训练和评估模型在复杂版面（如报纸）下的多语言（当前主要为韩语）OCR、文档结构分析和文本信息提取任务。mdpbench-doc-ocr-sft is a supervised fine-tuning (SFT) dataset specifically designed for document image-to-text (OCR/document parsing) tasks, aimed at enhancing the capabilities of multimodal large language models like Qwen 4B in Korean and Japanese document understanding, with the Korean (ko) configuration currently publicly available. The data originates from newspaper-style communication publications issued by Korean local governments, which are public works and are permitted for non-commercial and research purposes under Korean copyright law. The dataset comprises approximately 2,407 samples, each including a document page image (rendered from PDF at 250 DPI) and corresponding ground truth text annotations in Markdown format, carefully preserving layout structure information such as tables and reading order. The ground truth labels are generated through a rigorous process that combines outputs from PaddleOCR-VL-1.6 and Qwen3.5-9B models for consensus and uses the original PDF text layer for content verification. The dataset is strictly filtered to ensure zero overlap with the official MDPBench test set, avoiding data contamination issues, and is suitable for training and evaluating models on multilingual (currently primarily Korean) OCR, document structure analysis, and text information extraction tasks in complex layouts like newspapers.

原始信息汇总

数据集概述

数据集名称：mdpbench-doc-ocr-sft (MDPBench Doc OCR SFT - KO/JP)

数据集地址：https://huggingface.co/datasets/sionic-ai/mdpbench-doc-ocr-sft

许可证：CC-BY-4.0

任务类别：图像到文本（image-to-text）

标签：OCR、文档解析、韩语、报纸、MDPBench

主要语言：韩语（ko）、日语（jp，待发布）

数据规模：1,000 < 样本数 < 10,000

数据集结构

该数据集包含两个配置（config），当前仅公开韩语部分：

配置名称	样本数	内容说明	状态
ko	2,407	韩国地方自治团体新闻报（报纸型）图像 + Markdown标注	已公开
jp	—	日语数据	待发布

数据模式（Schema）

每个样本包含以下字段：

• image（Image，字节嵌入）：文档页面图像
• markdown（string）：标准答案转录（Markdown格式，保留表格和阅读顺序）
• source（string）：数据来源，包括 snvision、seocho、gongju
• lang（string）：语言，当前为 ko
• doc_type（string）：文档类型，当前为 newspaper

数据来源与许可

• 来源：韩国地方自治团体新闻报（成南市“Vision Seongnam”、瑞草区、公州市）
• 许可类型：公共作品（依据韩国著作权法第24条之二），允许非商业及研究用途
• 图像生成：PDF渲染，分辨率250 DPI

标注与质量控制

• 标注方法：采用双教师模型（PaddleOCR-VL-1.6 + Qwen3.5-9B）结构/顺序一致性标注，结合原始PDF文本层内容验证及双字母门控（bigram gate）

无污染声明

• 与MDPBench测试集无交集：已验证该训练数据与MDPBench测试集无样本重叠

包含与排除内容

• 包含：上述三个来源的韩国地方自治团体新闻报图像及Markdown标注
• 排除：KICE考试题（有版权）、MDPBench测试集（官方发行版）、来源不明PDF、合成数据（可通过代码重新生成）

搜集汇总

数据集介绍

构建方式

在文档智能处理领域，高质量的光学字符识别（OCR）与结构化解析数据集是训练多模态大语言模型的关键资源。mdpbench-doc-ocr-sft数据集针对韩语与日语文档，聚焦于地方自治团体新闻简报的OCR与Markdown解析，由韩国Sionic AI团队构建。其标注流程创新性地采用了双教师模型协同策略，即结合PaddleOCR-VL-1.6与Qwen3.5-9B架构共同生成初步转录结果，并辅以原始PDF文本层的内容验证及bigram门控过滤机制，确保了标注质量。所有图像均源自公开的PDF文件，以250 DPI分辨率渲染导出，并依据韩国公共著作权法律（著作权法第24条之2）进行非商业与学术用途发布。

特点

该数据集以精细化的文档结构保留为核心特色，其标注格式为Markdown，不仅包含文字内容，还完整保留了表格与阅读顺序等布局信息，这使其区别于传统仅提供文本序列的OCR数据集。数据来源覆盖韩国城南、瑞草、公州三地政府媒体，具有明确的地域多样性与现实应用场景。目前公开的韩语子集包含2,407条图像-标注对，数据量级处于千级别，适合作为小样本微调或模型能力验证的基准。尤为关键的是，数据集官方声明与MDPBench测试集零交集，彻底避免了测试数据泄漏风险，保障了模型评估的公正性。

使用方法

使用该数据集进行模型训练或评估十分便捷，依托HuggingFace Datasets库即可快速加载。用户通过指定配置名'ko'，调用load_dataset('sionic-ai/mdpbench-doc-ocr-sft', 'ko', split='train')即可获取训练集。每条数据包含'image'（RGB图像字节流）、'markdown'（标注文本）、'source'（来源标识）和'lang'（语言标签）四个字段。典型应用场景为多模态大语言模型的文档理解微调，研究者可将图像与对应的Markdown输出作为输入-目标对进行监督学习，训练模型实现从文档图像到结构化文本的端到端生成。

背景与挑战

背景概述

在文档智能与光学字符识别（OCR）领域，多语言、高精度的文档解析模型训练长期面临高质量标注数据匮乏的瓶颈，尤其针对朝鲜语（韩语）与日语等非拉丁语系的复杂排版文档。MDPBench Doc OCR SFT数据集于2025年由韩国人工智能研究团队Sionic AI构建，专注于提供韩国地方自治团体新闻报、公告等报纸型文档的图文对数据，涵盖Markdown格式的完整转录，包括表格结构与阅读顺序的精准保留。该数据集包含2407条韩国样本，来源于城南市、西草区、公州市等公开出版物，经双教师模型（PaddleOCR-VL-1.6与Qwen3.5-9B）共识标注及原始PDF文本层校验，确保标注质量。作为MDPBench基准的子集，它推动了面向朝鲜语等低资源语种文档OCR与结构化解析的研究进展，为多语言文档理解模型提供了关键的监督微调训练资源。

当前挑战

数据集面临的核心挑战体现在领域问题与构建过程两个层面。在领域问题层面，现有OCR系统对包含复杂表格、多栏排版、图片与文字混排的文档（如新闻报）解析精度不足，难以保持正确的阅读顺序与语义结构，且缺乏面向朝鲜语的标准化监督数据。在构建过程层面，确保了标注数据与MDPBench官方测试集零交集以避免数据泄漏，并需处理PDF渲染为250DPI图像后的质量损失。标注流程依赖双大模型教师共识，但不同模型的输出冲突需要额外人工验证机制；同时，数据来源受限，仅涵盖特定地域的公共出版物，其版面风格多样性与印刷质量差异对模型的泛化能力构成挑战，而日语子集尚未发布，限制了多语言扩展性。

常用场景

经典使用场景

在文档智能与光学字符识别领域，该数据集为训练高精度文档解析模型提供了优质监督信号。经典使用场景聚焦于韩文与日文新闻类文档的端到端OCR与结构化Markdown转换，模型需从输入图像中准确提取文本行，并复原包括表格、阅读顺序在内的版面结构。数据集包含2,407条韩国地方政府新闻报样张，图像分辨率统一为250DPI，标注经双教师模型协同审核与原文验证，确保了转录的权威性与一致性。研究者常以此数据集作为文档理解任务的基准微调语料，尤其适用于评估视觉语言模型在多语言、高版式复杂度文档上的OCR泛化能力。

衍生相关工作

围绕该数据集已涌现出多项具有启发性的衍生工作。数据集的构建依赖于双教师模型（PaddleOCR-VL-1.6与Qwen3.5-9B）的共识机制，这一标注策略启发了后续研究者在低资源文档OCR中采用多模型投票来提升标签质量。此外，公开的复现代码仓（qwen-mdpbench-ocr）提供了完整的训练与评估管线，使得基于Qwen系列视觉语言模型的文档解析方法得以被系统性地验证与改进。未来工作预计会向更细粒度的版面元素识别、跨语种迁移学习以及融合原文文字层验证的半监督标注框架扩展，进一步巩固该数据集在文档智能社区中的基准地位。

数据集最近研究

最新研究方向

基于MDPBench文档OCR SFT数据集的研究聚焦于高精度、多语种文档解析与结构化还原，特别是在低资源语言（如韩语和日语）报纸类公共文档上的前沿探索。该数据集通过结合Qwen3-VL视觉语言模型与多教师协作标注策略（如PaddleOCR-VL-1.6与Qwen3.5-9B），在保持阅读顺序与表格结构的前提下，实现了从图像到Markdown格式的忠实转录。此工作回应了当前文档智能领域对开源、可验证、无污染训练数据的迫切需求，尤其契合了韩国地方公报等公共数据在数字人文与政务自动化中的热点应用。数据集的构建严格规避版权风险并排除测试集泄露，为学术研究与工业部署提供了可靠基石，推动了多语言文档解析任务的公平基准与可复现性发展。