Needle In A Multimodal Haystack (MM-NIAH) 是一个综合基准,旨在系统评估现有多模态大语言模型(MLLMs)在理解长多模态文档方面的能力。该基准要求模型根据散布在多模态文档中的关键信息回答特定问题。MM-NIAH的评估数据包含三个任务:检索、计数和推理。关键信息(称为needles)被插入到文档的文本或图像中,插入到文本中的称为文本needles,插入到图像中
--- license: apache-2.0 --- # Circular-based Relation Probing Evaluation (CRPE) CRPE is a benchmark designed to quantitatively evaluate the object recognition and relation comprehension ability of m