VIDHAL|视觉大语言模型数据集|视频幻觉数据集

VIDHAL数据集由新加坡国立大学创建，专门用于评估视觉大语言模型（VLLMs）在视频中的幻觉问题。该数据集包含1000个视频实例，覆盖了广泛的时间维度，如实体动作和事件序列。每个视频通过自动注释生成多个带有不同幻觉级别的字幕，以捕捉细微和显著的差异。数据集的创建过程包括从现有数据集中选择视频实例，生成锚定字幕，并使用GPT-4o生成幻觉字幕。VIDHAL旨在解决视频内容中复杂的时间动态导致的幻觉问题，特别是在视频特定的时间方面，如运动方向和事件的时序。

AI搜集汇总

数据集介绍

构建方式

VIDHAL数据集的构建基于对视频实例的时空特性的全面覆盖，通过从公开的视频理解数据集中抽取视频片段，并对其进行详细的标注。具体而言，VIDHAL涵盖了动作、方向、事件顺序、对象和属性等多个时空方面，每个视频片段都配备了多个描述不同幻觉程度（从轻微到严重）的标注。为了确保标注的准确性和可靠性，研究团队采用了GPT-4o模型自动生成标注，并通过人工验证来确保标注的质量。此外，VIDHAL还引入了一种新颖的标注排序任务，要求模型根据幻觉程度对标注进行排序，从而实现对视频理解模型幻觉生成能力的细粒度评估。

使用方法

使用VIDHAL数据集进行模型评估时，研究者可以利用其提供的多选题回答（MCQA）和标注排序任务来测试模型的视频理解能力。具体操作包括：首先，使用MCQA任务评估模型对视频内容的粗粒度理解；其次，通过标注排序任务评估模型对视频幻觉程度的细粒度区分能力。此外，VIDHAL还提供了详细的评估指标，如归一化累积增益（NDCG）和多选题准确率，帮助研究者全面分析模型的性能。通过这些任务和指标，研究者可以深入了解模型在视频理解中的幻觉问题，并据此进行针对性的改进。

背景与挑战

背景概述

VIDHAL数据集由新加坡国立大学的研究人员创建，旨在评估视觉大型语言模型（VLLMs）在视频输入中的幻觉问题。该数据集的构建基于对视频内容的时空动态的深入理解，通过精心设计的字幕生成和排序任务，捕捉与视频相关的不同层次的幻觉。VIDHAL的推出填补了现有研究在视频幻觉评估方面的空白，为推动VLLMs在视频理解领域的进一步发展提供了重要的基准。

当前挑战

VIDHAL数据集面临的挑战主要集中在两个方面：一是如何准确评估视频内容中的幻觉问题，现有的评估方法往往无法捕捉到视频中细微的错误；二是如何在构建过程中确保字幕的生成和排序能够真实反映视频内容，这需要克服自动生成字幕时的噪声和误差。此外，VIDHAL还面临如何设计有效的评估任务和指标，以捕捉VLLMs在视频理解中的细微幻觉错误，这需要创新的方法和严格的验证过程。

常用场景

经典使用场景

VIDHAL数据集的经典使用场景在于评估视觉大型语言模型（VLLMs）在视频理解任务中的时间幻觉问题。通过提供包含多种时间概念的视频实例，VIDHAL允许研究者对模型生成的描述进行细致的幻觉程度评估。具体任务包括多选题回答（MCQA）和标题排序，要求模型根据幻觉程度对标题进行排序，从而揭示模型在处理视频时空动态时的细微错误。

解决学术问题

VIDHAL数据集解决了当前视觉大型语言模型在视频理解中普遍存在的时间幻觉问题。现有研究主要集中在图像输入的幻觉评估，而VIDHAL通过引入视频基准，填补了这一研究空白。该数据集不仅提供了丰富的视频实例，还设计了新颖的评估任务和指标，如标题排序任务，以捕捉模型在生成响应时的细微错误，从而推动了对VLLMs能力的全方位理解，特别是关于幻觉生成的问题。

实际应用

VIDHAL数据集在实际应用中具有重要意义，特别是在需要高度可靠性的视频理解任务中。例如，在智能监控、自动驾驶和视频内容审核等领域，VIDHAL可以帮助开发者和研究人员识别和缓解模型在处理复杂视频内容时可能产生的幻觉，从而提高系统的整体可靠性和安全性。通过提供详细的幻觉评估，VIDHAL有助于推动这些领域中VLLMs的实际应用和部署。

数据集最近研究

最新研究方向

在视觉大型语言模型（VLLMs）领域，VIDHAL数据集的最新研究方向聚焦于视频幻觉的评估与缓解。VIDHAL通过引入视频实例和多层次幻觉标注，旨在全面评估VLLMs在视频理解中的幻觉问题。研究不仅关注模型对视频内容的整体理解，还特别强调了对视频特定时间维度的细粒度分析，如动作、方向和事件顺序。通过提出新的标注排序任务和相应的评估指标，VIDHAL推动了VLLMs在视频幻觉检测和纠正方面的前沿研究，为提升模型的实际应用可靠性提供了重要参考。

相关研究论文

• VidHal: Benchmarking Temporal Hallucinations in Vision LLMs

  新加坡国立大学 · 2024年