TRIG-Bench

TRIG-Bench是由Adobe Research等机构创建的一个新型任务，专为评估和提升多模态大型语言模型在文档问题回答中的视觉文本定位能力而设计。该数据集包括800个由人工收集的问题回答对，以及来自四个不同数据源的90k个合成训练样本。数据集通过OCR-LLM-人类交互管道构建，旨在为文档相关的视觉问题提供一个标准化的评估框架。

TRIG-Bench is a novel benchmark task created by institutions including Adobe Research, specifically designed to evaluate and enhance the visual text localization capabilities of multimodal large language models in document question answering. This dataset comprises 800 manually collected question-answer pairs and 90,000 synthetic training samples from four distinct data sources. Constructed via an OCR-LLM-human interaction pipeline, it aims to provide a standardized evaluation framework for document-related visual question answering tasks.

搜集汇总

数据集介绍

构建方式

TRIG-Bench数据集的构建采用了OCR-LLM-人类交互的流水线方法。首先，利用PaddleOCR对文本丰富的文档图像进行预处理，提取初始OCR信息。随后，通过为每个OCR边界框分配唯一索引，并将这些索引与原始图像上的边界框对应，以增强视觉与文本信息的对齐。接着，利用GPT4o模型生成并验证支持问题答案的边界框，确保数据质量。最后，通过人工检查进一步验证数据的准确性，确保基准数据的高质量。这一流程不仅涵盖了800个人工标注的问题-答案对，还包括基于四个不同数据集的90k合成数据。

特点

TRIG-Bench数据集专注于文本丰富的文档图像，具有多样化的文档类型，包括表格、图表、信息图和复杂海报等。其独特之处在于强调视觉文本的定位能力，要求模型不仅回答问题，还需提供支持答案的边界框。数据集包含多种评估设置，从无OCR辅助到基于OCR的定位，全面测试模型的空间理解和推理能力。此外，数据集的构建注重多样性和复杂性，确保能够全面评估多模态大语言模型在文档理解中的表现。

使用方法

TRIG-Bench数据集的使用方法包括三种评估设置：无OCR辅助的定位（Setting 1）、基于OCR的定位（Setting 2）以及结合两者的混合设置（Setting 3）。在Setting 1中，模型需从零生成支持答案的边界框；Setting 2则提供OCR信息，模型仅需选择相关边界框；Setting 3则介于两者之间。评估指标包括像素级IoU、精确度、召回率和F1分数，具体选择取决于评估设置。用户可通过微调模型或开发新方法来提升模型在文本定位任务中的表现，同时可利用合成数据集进行训练以增强模型能力。

背景与挑战

背景概述

TRIG-Bench是由Adobe Research、马里兰大学和布法罗大学的研究团队于2025年推出的多模态大语言模型（MLLMs）视觉文本定位基准数据集。该数据集旨在解决文档图像中复杂布局和丰富文本内容带来的视觉文本定位挑战，填补了现有基准主要关注自然图像而忽视文本密集文档图像的空白。通过融合DocVQA、ChartQA等四个异构数据集，TRIG-Bench构建了800个人工标注的问答对和9万合成数据，首次为文档问答中的视觉文本定位能力提供了标准化评估框架。其创新的OCR-LLM-人类协同标注流程显著提升了数据质量，推动了文档智能领域模型可解释性的研究进展。

当前挑战

TRIG-Bench面临的核心挑战体现在两个方面：在领域问题层面，需解决文本密集文档中复杂排版、多尺度文本区域定位以及视觉-语义对齐难题，现有MLLMs在空间推理和指令遵循方面表现欠佳，如GPT-4o在无OCR辅助设置下平均IoU仅5.26%；在构建过程层面，数据标注需协调OCR检测精度与语义关联性，研究团队设计了索引对齐策略解决视觉-文本信息错位问题，并通过多轮LLM验证和人工审查确保边界框标注质量。此外，合成数据生成需平衡规模与真实性，这对构建具有强泛化能力的评估体系提出严峻考验。

常用场景

经典使用场景

TRIG-Bench数据集在视觉文本定位任务中展现了其核心价值，特别是在处理文档图像时。该数据集通过提供800个手动标注的问答对以及90k合成数据，为多模态大语言模型（MLLMs）在文本丰富的文档图像中的定位能力提供了标准化评估框架。其经典使用场景包括文档问答任务，模型不仅需要生成答案，还需提供支持该答案的视觉文本区域边界框，从而验证模型的视觉理解和空间推理能力。

解决学术问题

TRIG-Bench填补了当前多模态大语言模型在文本丰富图像定位能力评估上的空白。传统基准主要关注自然图像中的视觉定位，而该数据集针对文档图像的复杂布局和密集文本提出了专门挑战。通过引入OCR-LLM-人工交互流程，该数据集解决了模型在文档图像中精确定位文本区域的难题，并为提升模型的可信度和可验证性提供了数据支持。其意义在于推动了视觉文本定位这一新兴研究方向的发展，并为模型抗幻觉能力提供了评估标准。

衍生相关工作

TRIG-Bench的推出催生了一系列相关研究。基于该数据集，研究者提出了两种创新方法：基于指令调优的方法和高效的嵌入方法。这些工作启发了后续如LLaVAR、mPLUG-DocOwl等文档理解模型的发展。同时，该数据集也被用于评估GPT4o等商业模型在文档定位任务中的表现，揭示了当前模型在复杂指令遵循和空间推理方面的局限性，为未来研究指明了改进方向。