FTII-Bench

FTII-Bench是由上海交通大学和上海高级算法研究所共同创建的一个综合多模态基准数据集，旨在评估大型视觉语言模型在图文插入任务中的表现。该数据集包含625篇高质量的中英文新闻文章，涵盖10个不同的新闻领域。数据集的创建过程包括从新华网和BBC新闻中手动收集数据，并设计了两种类型的问题：单选题和流插入题，以全面评估模型的多维度能力。FTII-Bench的应用领域主要集中在复杂的多模态任务评估，旨在解决现有基准在评估模型综合能力方面的不足。

FTII-Bench is a comprehensive multimodal benchmark dataset jointly developed by Shanghai Jiao Tong University and Shanghai Institute of Advanced Algorithms, which aims to evaluate the performance of large vision-language models on image-text insertion tasks. This dataset contains 625 high-quality Chinese and English news articles covering 10 distinct news categories. The development process of the dataset includes manually curating data from Xinhua News Agency and BBC News, as well as designing two types of questions: multiple-choice questions and stream insertion questions, to comprehensively evaluate the multi-dimensional capabilities of models. The primary application scope of FTII-Bench focuses on complex multimodal task evaluation, aiming to address the gaps in existing benchmarks when evaluating the comprehensive capabilities of models.

原始信息汇总

FTIIBench

数据集概述

• 名称: FTIIBench
• 描述: 这是一个名为 "FTII-Bench: A Comprehensive Multimodal Benchmark for Flow Text with Image Insertion" 的官方代码仓库。

数据和代码

• 状态: 代码和数据将可用。

搜集汇总

数据集介绍

构建方式

FTII-Bench数据集的构建基于对专业新闻报道的深入分析，这些报道自然地包含了图像与文本的黄金标准序列。研究团队精心挑选了318篇高质量的中文新闻文章和307篇高质量的英文新闻文章，涵盖了政治、经济、体育、科技等10个不同的领域。通过对这些新闻文章的图像与文本序列进行解析，构建了包含10,231个问题的FTII-Bench，旨在全面评估视觉语言模型在图像理解、指令遵循和长文本解释方面的能力。

特点

FTII-Bench数据集的显著特点在于其复杂性和多样性。该数据集不仅包含了单选题和流插入题两种类型，还根据图像来源的不同设置了四个难度级别，从而能够细致地评估模型在不同情境下的表现。此外，数据集的构建基于权威新闻报道，确保了图像与文本序列的高质量和专业性，为模型的多维度评估提供了坚实的基础。

使用方法

FTII-Bench数据集适用于评估和提升视觉语言模型在复杂多模态任务中的表现。研究者可以通过该数据集进行模型训练和验证，利用其丰富的图像与文本序列来测试模型在图像理解、长文本处理和指令遵循方面的能力。此外，数据集还提供了基于CLIP模型和现有视觉语言模型的评估管道，帮助研究者全面了解模型的性能瓶颈，并为未来的模型改进提供方向。

背景与挑战

背景概述

近年来，随着大规模语言模型（LLMs）和基础视觉模型的革命性进展，大规模视觉语言模型（LVLMs）也取得了显著的进步。然而，现有的基准主要集中在评估LVLMs的单一能力（如识别、检测、理解），未能全面展示其在复杂应用场景中的潜力。为了全面评估现有LVLMs的性能，上海交通大学和上海高级算法研究所的研究团队提出了一项更具挑战性的任务——流文本与图像插入任务（FTII）。该任务要求LVLMs同时具备出色的图像理解、指令理解和长文本解释能力。FTII-Bench数据集包含了318篇高质量的中文图像文本新闻文章和307篇高质量的英文图像文本新闻文章，涵盖了10个不同的领域，为未来研究提供了丰富的评估资源。

当前挑战

FTII-Bench数据集的构建面临多重挑战。首先，确定流文本与图像的插入顺序是一个复杂的问题，需要模型具备高度的图像理解和长文本处理能力。其次，数据集的构建过程中，研究人员必须从专业新闻报道中提取高质量的图像文本序列，这要求对新闻领域的深入理解和专业知识。此外，评估模型的性能时，需要同时考虑图像理解、长文本处理和指令遵循等多个维度，这对现有LVLMs提出了更高的要求。实验结果表明，即使是目前最先进的模型（如GPT-4o）在处理FTII任务时也面临显著挑战，这表明当前LVLMs在应对复杂多模态任务时仍有很大的提升空间。

常用场景

经典使用场景

FTII-Bench数据集的经典使用场景在于评估大型视觉语言模型（LVLMs）在处理流文本与图像插入任务时的综合能力。该任务要求模型在理解图像、理解长文本以及遵循复杂指令之间取得平衡，从而选择最合适的图像插入到相应的文本段落中。这种场景不仅测试了模型在单一任务上的表现，更强调了其在多模态信息处理中的协同作用。

衍生相关工作

FTII-Bench数据集的提出激发了大量相关研究工作，特别是在多模态模型的评估和改进方面。例如，基于FTII-Bench的研究揭示了现有模型在处理复杂多模态任务时的不足，推动了如Llava、Qwen-VL和CogVLM等模型的进一步优化。此外，FTII-Bench还促进了CLIP-based模型在多模态任务中的应用研究，如BGE-M3和BGE-v1.5-en等模型的开发，为多模态理解任务提供了新的解决方案。

数据集最近研究

最新研究方向

近年来，随着大规模语言模型（LLMs）和基础视觉模型的革命性进展，大规模视觉语言模型（LVLMs）也取得了显著进步。然而，当前的基准测试主要集中在评估LVLMs的单一能力（如识别、检测、理解），未能全面展示其在复杂应用场景中的潜力。为了全面评估现有LVLMs的性能，研究者提出了一个更具挑战性的任务——流文本与图像插入任务（FTII）。该任务要求LVLMs同时具备出色的图像理解、指令理解和长文本解释能力。具体而言，给定多个文本段落和一组候选图像，随着文本段落的累积，LVLMs需要从候选图像中选择最合适的图像插入到相应的段落之后。这一任务的提出，不仅推动了LVLMs在多模态任务中的应用，也为未来模型的发展提供了新的方向。

相关研究论文

• FTII-Bench: A Comprehensive Multimodal Benchmark for Flow Text with Image Insertion

  上海交通大学，上海高级算法研究所 · 2024年