MM-Hallu/THRONE

THRONE数据集是Objects365验证集的一个子集，用于THRONE（通过物体评估测试幻觉）评估。包含4,891张带有真实物体标注的图像，涵盖365个类别，用于评估图像描述中的物体幻觉。数据集字段包括图像、图像ID、宽度、高度、物体类别列表和所有标注的JSON列表。评估方法是通过生成图像描述，然后进行抽象问答评估，最后进行物体幻觉评分。数据集的来源是THRONE（CVPR 2024）和Objects365验证集。

Objects365 validation subset for THRONE (Testing Hallucination thRough Object evaluatioN) evaluation. 4,891 images with ground truth object annotations from 365 categories, used for evaluating object hallucination in image descriptions. Fields include image, image ID, width, height, JSON list of unique object categories, and JSON list of all annotations. Evaluation method involves generating captions, abstractive QA evaluation, and object hallucination scoring. Source: Original benchmark from THRONE (CVPR 2024), images from Objects365 validation set.

搜集汇总

数据集介绍

构建方式

THRONE数据集是基于Objects365验证集精心构建的专门用于评估对象幻觉的基准数据集。研究团队从Objects365验证集中筛选出4,891幅图像，并为每幅图像提供了来自365个类别的真实对象标注。数据集的构建过程涉及对原始图像进行系统性的标注信息提取，包括图像标识符、尺寸参数、图像中包含的唯一对象类别列表以及所有标注的详细元数据（如类别、边界框和面积）。这种基于已有高质量数据集的构建方式，确保了标注的准确性和覆盖范围的全面性。

使用方法

使用THRONE数据集时，研究者通常采用‘详细描述此图像’的提示词生成图像描述，然后通过THRONE评估框架对描述中的对象幻觉进行量化分析。具体流程包括：利用数据集提供的真实标注作为基准，结合抽象式问答评估方法，对生成描述中提及的对象进行精确匹配和评估，最终计算对象幻觉评分。该过程支持三种核心指标——精确率、召回率和F1分数，用于全面衡量描述内容与图像实际对象之间的一致性。数据集以parquet格式存储，便于加载和处理，是评估视觉语言模型幻觉现象的标准化工具。

背景与挑战

背景概述

随着多模态大语言模型在图像描述生成领域的广泛应用，物体幻觉（Object Hallucination）问题日益凸显，即模型生成的文本中包含图像中并不存在的物体。为系统性评估此现象，THRONE数据集于2024年由亚马逊研究团队在CVPR会议上提出，旨在构建一个鲁棒的物体幻觉检测基准。该数据集基于Objects365验证集的4,891张图像，涵盖365个物体类别，每张图像均带有精细的物体级标注。THRONE通过提出两阶段评估框架——先由模型生成描述，再利用抽象式问答进行物体幻觉评分，显著推动了该领域评估方法的标准化与可重复性。其开源发布在GitHub上，为后续研究提供了可靠的数据支持与度量指标。

当前挑战

THRONE数据集主要挑战之一是解决多模态模型在图像描述中产生物体幻觉的领域难题，这类幻觉不仅损害了生成文本的忠实度，更在安全关键应用中引发潜在风险。为此，THRONE设计了一套基于精确率、召回率与F1分数的量化评估指标，以区分模型真实感知与臆测内容。在数据构建过程中，研究人员面临从Objects365海量标注中筛选验证集、确保物体类别覆盖均衡及标注一致性等工程挑战。此外，抽象式QA评估策略需平衡问题生成的有效性与评分客观性，避免引入额外偏置，从而保证对模型幻觉行为的准确刻画。

常用场景

经典使用场景

在视觉与语言交叉领域，幻觉现象一直是制约多模态模型生成忠实图像描述的关键瓶颈。THRONE数据集专为评估图像描述中的物体幻觉而生，其经典使用场景在于量化模型对图中不存在物体的编造倾向。研究者在给定COCO或Flickr等通用描述提示后，借助该数据集提供的4,891张精心标注的图像与365类物体的真实标签，能够精准计算描述中出现的物体虚报率。通过逐图像比对模型输出的物体种类与地面真值，THRONE不仅衡量了描述中物体提及的准确性，更揭示了模型在复杂视觉场景下过度生成或凭空捏造物体的具体模式。

解决学术问题

THRONE数据集的诞生直击了多模态大模型在细粒度物体感知能力评估中缺乏标准化基准的学术困境。此前的研究多依赖人工或松散的自动指标衡量幻觉，难以在统一框架下比较不同方案的优劣。THRONE通过引入精确率、召回率与F1分数，将物体级别的幻觉检测转化为可量化的分类任务，首次为跨模型间的幻觉严重程度提供了清晰的比较标尺。该数据集的提出深刻影响了视觉语言测评体系的重构，促使学界从对流畅度的单一追求转向对描述事实性的严格把关，推动了诸如纠正性描述生成、视觉反事实推理等一系列前沿方向的蓬勃发展。

实际应用

在实际工业部署中，THRONE为多模态内容审核与无障碍信息服务提供了关键的质量控制手段。例如，在自动化图像配文服务中，系统可利用该基准定期检测生成描述是否错误地增加了现实场景中不存在的物体，从而避免误导视觉障碍用户或传播虚假信息。电商平台的商品图描述生成模块亦可借助THRONE的评估范式，确保AI撰写的商品介绍准确反映实物属性，减少因幻觉引发的客户投诉与退货纠纷。此外，辅助驾驶场景下的环境描述系统更有赖于对物体识别偏差的零容忍，THRONE所倡导的高精度评估标准正逐步成为行业验收的参考蓝本。

数据集最近研究

最新研究方向

THRONE数据集聚焦于多模态大模型在图像描述中的对象幻觉（Object Hallucination）评估，属于当前视觉-语言模型可信度与鲁棒性研究的前沿方向。该数据基于Objects365验证集的4,891张图像，通过抽象式问答与精确率、召回率、F1值等指标量化模型生成文本中虚构对象的程度。伴随ChatGPT、Gemini等视觉-语言模型在具身智能与自动化内容生成中的广泛应用，THRONE所测量的幻觉问题已成为制约实际部署的关键瓶颈，其评估框架直接关联至模型输出可靠性、偏见抑制与安全策略优化等热点事件，为下一代无偏生成与幻觉校正研究提供标准化基准。