japan-ocr-mini-benchmark

Japan OCR Mini Benchmark 是一个紧凑的日语收据 OCR 和视觉语言模型基准测试数据集。其核心目的是评估模型从收据图像中恢复结构化数据的能力，而不仅仅是识别文本。数据集完全由合成数据构成，不包含任何真实的客户收据或个人身份信息，确保了隐私安全。数据内容专注于日本收据，包含收据级别的字段（如店铺、分店、地址、日期、时间、支付方式、税额、总计）和商品级别的字段（如商品名称、数量、单价、行金额）。每个数据记录包含源 JSON 文件、元数据 JSON 文件、干净的 PNG 图像以及经过相机模拟退化的带噪声 PNG 图像。噪声类型包括打印褪色、局部模糊、条带、阴影、旋转和 JPEG 压缩，旨在测试 OCR/VLM 模型的鲁棒性。数据规模方面，v0.2.0 版本包含 20 条独立的收据记录，共计 180 个商品行项。噪声配置文件分布为：轻度 3 个，中度 9 个，重度 8 个。数据集适用于图像到文本、视觉问答、文档 AI 等任务，特别是日语收据解析工作流的测试、OCR/VLM 提取性能评估以及模型在干净和噪声图像变体上的鲁棒性检查。

原始信息汇总

Japan OCR Mini Benchmark

日本收据 OCR/VLM 基准测试数据集，包含带噪声的合成收据图像、真实标注 JSON 和本地 LM Studio 基线结果。

数据集基本信息

• 许可证: MIT
• 语言: 日语
• 任务类别: 图像到文本、视觉问答
• 标签: OCR、日语、收据、合成数据、VLM、文档 AI、LM Studio
• 数据集名称: Japan OCR Mini Benchmark

数据集目的

该基准测试检查模型是否能恢复结构化的日语收据数据，包括：

• 收据级别字段：商店、分店、地址、日期、时间、支付方式、税额、总计
• 商品级别字段：产品名称、数量、单价、行金额
• 噪声相机式输入：打印褪色、局部模糊、条纹、阴影、旋转、JPEG 压缩
• 仅合成数据：无真实客户收据，无个人信息

当前版本

• 数据集负载: v0.2.0
• 官方 LM Studio 基线: v0.3.0
• 规范数据根目录: data/v0.2.0
• 官方 v0.3.0 报告: reports/v0.3.0

v0.2.0 数据集负载

• 记录数: 20
• 源 JSON 文件: 20
• 元数据 JSON 文件: 20
• 退化元数据 JSON 文件: 20
• 干净 PNG 图像: 20
• 噪声 PNG 图像: 20
• 总商品行数: 180
• 噪声配置计数: 轻度=3、中度=9、重度=8
• 冻结目标运行 ID: v020_target_20260613_221713
• 数据根目录: data/v0.2.0
• 报告根目录: reports/v0.2.0

所有收据图像和 JSON 文件均为合成数据，不包含真实客户收据数据。

v0.3.0 LM Studio 5 模型基线

在 20 张噪声收据图像上，通过 LM Studio 的 OpenAI 兼容 API 比较五个本地 GGUF/VLM 模型。

JOMB Core Score v1 评分公式

核心分数 / 100 = 精确匹配 * 10 + 顶级字段 * 25 + 商品字段 * 50 + 商品数量 * 15

商品字段提取权重最高，因为行项目恢复是主要基准任务。

结果摘要

排名	模型	核心分数/100	量化	平均秒数	精确匹配	顶级字段	商品字段	商品数量
1	gemma4_31b_q8_0	95.00	Q8_0	53.195	0.6	0.979545	0.990278	1
2	qwen36_35b_a3b_q4_k_m	93.61	Q4_K_M	4.282	0.45	0.972727	0.995833	1
3	qwen3_vl_30b_q4_k_m	73.59	Q4_K_M	3.248	0.05	0.943182	0.690278	1
4	qwen25_vl_7b_q8_0	70.99	Q8_0	5.094	0	0.934091	0.652778	1
5	internvl3_5_14b_q8_0	56.16	Q8_0	9.519	0	0.725	0.565672	0.65

关键发现：

• gemma4_31b_q8_0 拥有最佳的 JOMB Core Score v1 和精确匹配分数，但速度慢得多
• qwen36_35b_a3b_q4_k_m 是商品级别结构化提取的最强基线，也是前两名中速度/质量权衡最佳的模型
• qwen25_vl_7b_q8_0 是有用的轻量级速度基线，但在单价提取上较弱

数据集文件结构

data/v0.2.0/ manifest.jsonl source_json/ metadata/ degradation_metadata/ images_clean/ images_noisy/ reports/v0.3.0/ v030_lmstudio_5model_summary.json v030_lmstudio_5model_summary.csv v030_lmstudio_5model_summary.md docs/releases/v0.3.0.md assets/jomb_v030_showcase.png

模板覆盖范围

模板	记录数	噪声配置
bakery_simple	2	中度=2
cafe_small_receipt	2	中度=2
convenience_store_standard	3	轻度=3
drugstore_mixed_tax	3	中度=3
parking_machine	1	重度=1
restaurant_receipt	2	中度=2
station_store_narrow	4	重度=4
supermarket_long	3	重度=3

数据生成方法

• 收据结构基于模板特定规则生成
• 商品数据结合确定性商品主数据与经过验证的 LLM 批准商品池
• LLM 批准商品数: 56
• 商品主数据商品数: 124
• LLM 混合比例: 0.3111

图像变体

• clean: 高分辨率渲染的收据图像
• noisy: 模拟相机退化的收据图像，用于测试 OCR/VLM 鲁棒性
• 噪声配置计数: 轻度=3、中度=9、重度=8

验证状态

• 验证状态: warning
• 验证状态计数: 正常=8、警告=12
• 问题代码最高计数: clean_noisy_size_large_difference=12
• 已完成并接受此版本的手动视觉审查

数据政策

所有收据图像和 JSON 文件均为合成数据。商店名称、分店名称、地址、发票号码、日期、产品、价格、总计和交易详情均为人工测试数据。

局限性

• 收据为合成数据，不应视为真实交易记录
• 产品名称、商店名称、分店名称、地址、日期和总计为人工测试数据
• 噪声图像有意退化，可能无法代表所有真实世界的相机条件
• clean_noisy_size_large_difference 警告因噪声渲染管线而属于预期现象

预期用途

• OCR/VLM 提取评估
• 日语收据解析工作流测试
• 干净与噪声收据变体的鲁棒性检查

备注

早期的 5 收据样本材料保存在 legacy/initial_5_receipt_sample/。当前工作请从 v0.2.0 数据根目录的 manifest.jsonl 开始。

搜集汇总

数据集介绍

构建方式

该数据集为合成生成的日文收据OCR/VLM基准测试集，其构建基于模板化规则与经LLM验证的物料池。具体而言，收据结构由预定义模板驱动，商品数据融合了124项确定性商品主数据与56项LLM批准的商品池，混合比例为0.3111。每份记录均包含源JSON、元数据JSON、清晰图像、带噪图像以及退化元数据，最终通过manifest.jsonl文件统一索引。数据生成过程强调可复现性与结构化，旨在模拟真实相机拍摄条件下的收据图像。

特点

数据集以紧凑、可检查、易本地运行为核心理念，包含20条合成收据记录，覆盖8种模板（如面包店、咖啡馆、便利店等）和三种噪声等级（轻度3条、中度9条、重度8条）。其独特之处在于不仅评估文本识别能力，更检验模型恢复结构化日文收据字段（商店名、商品名、数量、单价、总价等）的准确性，支持对视觉语言模型进行快速烟雾测试。

使用方法

用户可通过Python脚本直接操作数据集，例如使用`load_v020_manifest.py`读取manifest.jsonl文件中的记录信息，或通过`evaluate_v020_baseline.py`评估自定义模型预测结果。数据集中包含清晰与带噪PNG图像，支持基于LM Studio的OpenAI兼容API进行本地模型推理。预计算法基线结果已提供，用户可将自身模型预测与官方基准（如gemma4_31b_q8_0、qwen36_35b_a3b_q4_k_m等）进行对比，核心评分机制精确衡量结构化字段提取表现。

背景与挑战

背景概述

Japan OCR Mini Benchmark 数据集由独立研究者在2025年创建，专注于日语收据的光学字符识别（OCR）与视觉语言模型（VLM）评估。该数据集的核心研究问题在于超越传统“能否读取文本”的表面验证，深入考察模型从含有噪声的合成收据图像中恢复结构化日语数据的能力，涵盖商店、分店、地址、日期、金额及商品明细等多层级字段。作为一个轻量级、可本地运行的小型基准，它在文档人工智能领域提供了一种快速、低成本的模型烟雾测试工具，尤其适用于大规模评估前的初步筛选，对推动日语文档AI研究具有实用价值。

当前挑战

该数据集所解决的领域挑战包括：收据OCR中从噪声图像（如褪色、模糊、阴影、旋转）中精确提取结构化信息，尤其是商品明细级别的细粒度恢复，这比简单文本识别更为复杂。在构建过程中，关键挑战在于设计高度逼真的合成噪声管线，模拟真实相机拍摄条件；生成多样化模板（如面包店、便利店、停车场等8种类型）并严格执行数据审核，确保合成数据不包含真实个人信息；以及解决清洁图像与噪声图像之间尺寸差异带来的技术警告，同时保持20条记录的小规模但高代表性和可检查性。

常用场景

经典使用场景

Japan OCR Mini Benchmark 是一个精心设计的日语票据光学字符识别与视觉语言模型评估基准，其核心用途在于检验模型能否在模拟真实拍摄噪声（如打印褪色、局部模糊、阴影、旋转及JPEG压缩）的环境下，精准复原结构化的日语收据信息。该数据集包含20组合成收据样本，每份均附带清洁图像与受控退化图像，搭配完整的JSON格式标注——涵盖店铺名称、地址、日期、金额等收据层级字段，以及商品名称、数量、单价等细粒度条目字段。这套小巧但高度结构化的基准特别适用于快速进行OCR/VLM的冒烟测试，在投入大规模评估前先行验证模型的基础提取能力。

实际应用

在实际产业场景中，Japan OCR Mini Benchmark 直接服务于日语票据处理的自动化需求，例如商店收据的批量录入、财务报销系统的智能解析、以及零售业的库存数据自动归集。企业可以利用该基准快速评估云端或本地部署的OCR模型对日语文档的实用性，特别是那些需要处理边缘案例（如卷曲、模糊或部分遮挡的收据）的轻量化方案。此外，其合成数据的设计确保不含真实的顾客隐私信息，使得在合规敏感的商业环境中进行测试与调试成为可能，加速了从实验室模型到生产系统的落地进程。

衍生相关工作

围绕Japan OCR Mini Benchmark已衍生出多项关键工作，最突出的是官方发布的v0.3.0 LM Studio基线评估，该工作对比了五个本地GGUF/VLM模型（如gemma4_31b、qwen36_35b、internvl3系列）在相同20张噪声图像上的性能，并首次提出JOMB Core Score v1评分框架——将精确匹配、顶层字段、条目字段与条目计数维度加权融合，为后续研究确立了评估范式。此外，数据集的生成管道（包括模板化收据结构、LLM验证的商品池以及退化图像渲染流程）本身也构成了可复现的合成数据方法论，启发了后续面向其他语种或文档类型的噪声鲁棒性基准构建工作。