Manga Text Segmentation

Manga Text Segmentation数据集是由布宜诺斯艾利斯大学和阿根廷国家路简大学合作创建的，专注于日本漫画中不受约束文本的像素级分割。该数据集包含900张来自Manga109的漫画图像，每张图像都进行了像素级的文本标注，分为非文本、简单文本（位于对话气泡内）和困难文本（位于对话气泡外）三个类别。创建过程涉及手动标注，旨在为深度学习模型提供高质量的训练数据，以解决漫画文本检测和分割的挑战。该数据集的应用领域包括自动漫画翻译和图像修复，旨在通过自动文本检测和分割技术，降低日本漫画文化的语言障碍。

Manga Text Segmentation Dataset was jointly developed by the University of Buenos Aires and the National University of La Matanza, Argentina, focusing on pixel-level segmentation of unconstrained text in Japanese manga. The dataset includes 900 comic images sourced from Manga109, with each image annotated at the pixel level for text, categorized into three classes: non-text, simple text (located within speech bubbles), and difficult text (located outside speech bubbles). The dataset creation process involved manual annotation, aiming to provide high-quality training data for deep learning models to address the challenges of comic text detection and segmentation. Its application fields cover automatic manga translation and image restoration, with the goal of reducing language barriers to Japanese manga culture via automatic text detection and segmentation technologies.

搜集汇总

数据集介绍

构建方式

在漫画文本检测领域，现有数据集多聚焦于拉丁字母场景，缺乏针对日文漫画的像素级标注资源。为填补这一空白，研究团队基于Manga109公开数据集，从45部不同风格漫画中每部选取前10张图像，最终涵盖900个物理页面。标注过程采用三类标签体系：非文本、易检测文本（对话框内）与难检测文本（对话框外），以此区分文本的检测难度层级。所有标注均以像素级精度完成，确保文本边界与艺术风格的精准对应。

特点

该数据集的核心创新在于其像素级文本分割标注，突破了传统边界框检测在漫画不规则文本上的局限。文本风格涵盖手绘变形、透明填充及与背景相似的纹理，充分体现日文漫画的多样性。此外，数据集将文本按位置分为对话框内（易）与对话框外（难）两类，为模型性能的细致评估提供了维度。这种分层标注设计使研究者能针对性分析模型在不同难度文本上的表现，尤其适合评估对艺术化文本的鲁棒性。

使用方法

数据集适用于训练和评估像素级文本分割模型，推荐采用U-Net架构结合预训练ResNet骨干网络。训练时可将原始双页图像从中缝切割为单页，并采用512x800随机裁剪进行数据增强。评估环节除标准像素指标（精确率、召回率、F1值）外，建议使用基于连通分量的质量指标，如全局F1值（GF1）和松弛模式指标，以缓解边界标注模糊带来的度量偏差。代码与预训练模型已开源，支持跨领域迁移至其他非约束文本检测任务。

背景与挑战

背景概述

漫画文本的自动检测与翻译是跨文化传播中亟待解决的关键技术问题，尤其是风格高度自由化的日本漫画（manga），其文本常以手绘形式嵌入艺术画面，具有变形、透明、填充图案等复杂视觉特征。2020年，阿根廷布宜诺斯艾利斯大学与卢汉大学的研究团队Julían Del Gobbo和Rosana Matuk Herrera，针对这一领域缺乏像素级标注数据集的困境，创建了Manga Text Segmentation数据集。该数据集基于Manga109公开资源，精选45部漫画的前十页，手动标注了900页物理漫画的像素级文本掩膜，并将文本划分为“易”（对话泡内）与“难”（对话泡外）两类，旨在推动无约束文本分割研究。作为首个公开的漫画像素级文本分割数据集，它为后续的OCR、图像修复及自动翻译任务奠定了重要基准，显著提升了该领域的可复现性与对比评估能力。

当前挑战

该数据集面临的核心挑战源于漫画文本的高度无约束性：文本字符可能变形、旋转、带有艺术填充图案，甚至与背景艺术融为一体，使得传统基于边界框或对话泡的检测方法失效。构建过程中，研究人员需手动标注大量精细的像素级掩膜，耗时巨大，且文本边缘常因模糊或伪影导致标注歧义。此外，日语字符体系复杂（含平假名、片假名、汉字及约1200种拟声词），字符面积差异悬殊，小字符与大型字符的同等像素权重易误导模型评估。现有数据集多为拉丁语系场景或文档图像，缺乏对漫画独特语境（如非矩形画框、跨帧文本）的覆盖，导致预训练模型迁移效果不佳。为解决这些问题，团队设计了基于连通组件的特殊评估指标（如质量F1值），以削弱边界误差影响，并构建了首个专用数据集，为模型优化提供了可靠的训练与评测基础。

常用场景

经典使用场景

Manga Text Segmentation数据集的核心应用场景在于对日本漫画中无约束文本进行像素级分割。漫画文本通常嵌入在复杂多变的艺术风格中，例如手绘字体、倾斜排列、半透明填充以及与非文本元素（如对话框、拟声词）的紧密交织。该数据集提供了900页黑白漫画页面的精细像素级标注，将文本区分为“易文本”（对话框内）和“难文本”（对话框外），从而能够训练模型精准识别并分离出任意形状、大小和方向的文字区域，为后续的文本擦除与图像修复奠定坚实基础。

解决学术问题

该数据集有效解决了漫画文本检测领域长期存在的两大核心学术难题：其一，传统基于边界框或对话框检测的方法难以应对漫画中文字的非刚性排列、艺术变形及跨边界分布，而像素级分割范式突破了这一局限，实现了对任意形状文本的精确表征；其二，填补了缺乏公开可用的漫画文本像素级标注数据集的空白，为研究社区提供了标准化的评估基准。其意义在于推动了无约束文本检测从场景图像向艺术化文档的拓展，并为日文多字体、多语种（包括汉字、平假名、片假名及拉丁字母）的文本分割研究开辟了新路径。

衍生相关工作

该数据集衍生了一系列经典工作，包括基于U-Net架构的基线模型（以ResNet34为骨干网络），通过冻结编码器并训练解码器，结合Dice Loss与K折交叉验证，在像素级F1分数和基于连通分量的全局F1指标上显著超越此前方法。后续工作进一步探索了HRNet、BCDU-Net等架构在该任务上的适用性，并催生了如SickZil-Machine等专注于漫画文本隔离与修复的实用工具。这些衍生研究不仅验证了数据集的有效性，还推动了漫画图像理解领域从粗粒度文本检测向精细化分割的技术演进。