lccshunli/VideoHallu

VideoHallu是一个用于评估和减轻合成视频多模态幻觉的基准数据集，包含超过3,000个视频问答对。这些视频由Sora、Veo2、Kling等先进模型生成的合成视频构成，并配有专家制作的反直觉问答，旨在测试多模态大语言模型（MLLMs）在异常检测和批判性思维方面的能力，这些异常对人类感知明显，但由于语言先验常导致模型产生幻觉。数据集涵盖四个主要类别：对齐（检查模型是否正确识别和理解实体）、时空一致性（检查模型是否能跟踪实体跨帧运动）、常识推理（测试模型基于知识的推理能力）和物理（评估模型对物理定律的应用）。该基准用于评估MLLMs在合成视频中的基本物理和常识推理表现，并通过后训练（如GRPO）提升模型的理解能力。

---
许可证：Apache-2.0
任务类别：
- 视觉问答
语言：
- 英语
---

# VideoHallu：面向合成视频的多模态幻觉评估与缓解

[Zongxia Li*](https://zli12321.github.io/), [Xiyang Wu*](https://wuxiyang1996.github.io/), [Guangyao Shi](https://guangyaoshi.github.io/), [Yubin Qin](https://www.linkedin.com/in/yubin-qin/), [Hongyang Du](https://hongyang-du.github.io/), [Tianyi Zhou](https://tianyizhou.github.io/), [Dinesh Manocha](https://www.cs.umd.edu/people/dmanocha), [Jordan Lee Boyd-Graber](https://users.umiacs.umd.edu/~ying/)

[[📖 论文](https://arxiv.org/abs/2505.01481)] [[🤗 数据集](https://huggingface.co/datasets/IntelligenceLab/VideoHallu)] [[🌍 项目网站](https://wuxiyang1996.github.io/videohallu_page/)]

<img src="./images/teaser.png" style="zoom:20%;" />

## 👀 关于VideoHallu

合成视频生成因其逼真度与广泛应用前景受到广泛关注，但仍极易违背常识与物理定律。这凸显了开发可靠的异常检测器的必要性——这类检测器需理解上述原理，且对幻觉现象具备鲁棒性。为此，我们提出VideoHallu基准数据集：该数据集包含超3000组视频问答（QA）对，数据源自[Sora](https://openai.com/sora/)、[Veo2](https://veo2.ai)、[Kling](https://www.klingai.com/global/)等模型生成的合成视频，并搭配专家编写的反直觉问答样本，用于评估多模态大语言模型（Multi-modal Large Language Models, MLLMs）在感知上对人类显而易见、但因语言先验常产生幻觉的异常场景中的批判性思维能力。

VideoHallu通过覆盖对齐性、时空一致性、常识与物理场景的样本，评估MLLMs的异常检测能力。我们对当前最优（State-of-the-Art, SOTA）的MLLMs进行了基准测试，包括[GPT-4o](https://openai.com/index/hello-gpt-4o/)、[Gemini-2.5-Pro](https://deepmind.google/technologies/gemini/pro/)、[Qwen-2.5-VL](https://github.com/QwenLM/Qwen2.5-VL)，以及前沿模型如[Video-R1](https://github.com/tulerfeng/Video-R1)与[VideoChat-R1](https://github.com/OpenGVLab/VideoChat-R1)。我们发现，这些模型在诸多真实世界基准数据集（如[MVBench](https://huggingface.co/datasets/OpenGVLab/MVBench)与[MovieChat](https://github.com/rese1f/MovieChat)）上表现优异，但在合成视频的基础物理与常识推理任务中仍存在明显短板。进一步研究表明，结合真实与合成视频的视频问答数据集，辅以反直觉常识与物理推理任务，采用课程学习结合组相对策略优化（Group Relative Policy Optimization, GRPO）进行后训练，可有效提升MLLMs的异常检测与批判性思维能力，这证明了针对性训练对提升模型对常识与物理定律的理解能力具有重要价值。

## 🔥 最新动态
- [2025/05/02] 我们新增了更多问答对以扩展数据集🤗.
- [2025/05/02] 我们正式发布[数据集](https://huggingface.co/datasets/IntelligenceLab/VideoHallu)🤗.
- [2025/05/02] 我们发布了基于GRPO的自由格式奖励模型🤗.

## 目录
* [基准数据集](#benchmark)
* [快速上手](#setup)
* [合成视频场景下MLLMs的表现](#showcase)
* [主流MLLMs的基准测试结果](#evaluation)
* [奖励模型](#rb)
* [训练配置](#training)
* [微调实验结果](#evaluation_ft)
* [致谢](#ak)
* [引用](#citations)

## 🔍 <a name='benchmark'></a>基准数据集

我们设计了包含四类问答类别的VideoHallu基准数据集，用于探测合成视频理解中的幻觉现象，覆盖从感知理解到抽象推理的全维度能力：
* **对齐性**：检验模型是否能通过视觉与文本线索正确识别并理解实体。
* **时空一致性**：考察模型是否能跨帧追踪实体的运动状态。
* **常识推理**：测试模型是否能基于自身知识库进行合理推理。
* **物理规则**：评估模型是否能将物理定律应用于实体运动与流程理解。

每个类别下的问答样本可根据其针对的具体维度被划归至多个子类别，详细标注与子类别划分详情可参见[此处](https://huggingface.co/datasets/zli12321/VideoHalluB)：

| 更新日期 | HuggingFace链接 | 数据集规模 |
|:-----------|:--------------------------------------------:|:---------:|
| 2025年5月2日 | [HuggingFace](https://huggingface.co/datasets/zli12321/VideoHalluB) | 3233 |

下图展示了本基准数据集的整体架构，包含按MLLMs推理难度排序的高层问答类别及其对应的子类别划分。

<img src="./images/fig1.png" style="zoom:20%;" />

## 📖 <a name='setup'></a>快速上手

请按照以下步骤配置本基准数据集：

bash
# 安装依赖并下载数据集
pip install huggingface_hub

# 将数据集下载至本地目录
huggingface-cli download IntelligenceLab/VideoHallu --repo-type dataset --local-dir ./new_video_folders --local-dir-use-symlinks False

# 下载并解压PhysBench训练视频数据
curl -L -o video.part1.rar https://huggingface.co/datasets/WeiChow/PhysBench-train/resolve/main/video.part1.rar

# Linux系统下解压数据
unrar x video.part1.rar

## <a name='showcase'></a>🧠 合成视频场景下MLLMs的表现

我们收集了在合成视频任务上测试主流MLLMs时观察到的幻觉案例，每个案例包含生成提示、关键帧、问题、人工标注的标准答案，以及GPT-4o、Qwen2.5-VL与Gemini-2.5-Pro生成的幻觉答案（幻觉内容以红色标注，便于读者理解）。更多案例可参见[我们的论文](https://arxiv.org/abs/2505.01481)的附录部分。

**注意：** 下图图例对本次展示中使用的当前最优MLLMs的符号进行了解释，这些模型用于合成视频生成与视频问答任务。
<p align="center">
<img src="images/legend.png" width="700"/>
</p>

### 对齐性
**🗣️ 视频生成提示：** 一名年轻男性运动员在室外球场打篮球，完成了精彩的运球与扣篮动作。

**🎬 合成视频：**
<p align="center">
<img src="images/alignment.gif" width="700"/>
</p>

**🤖 MLLMs生成的视频问答结果：**
<p align="center">
<img src="./images/alignment.png" width="700" />
</p>

### 时空一致性
**🗣️ 视频生成提示：** 生成一段鹌鹑与公鸡庆祝新年的视频。

**🎬 合成视频：**
<p align="center">
<img src="images/rooster.gif" width="700"/>
</p>

**🤖 MLLMs生成的视频问答结果：**
<p align="center">
<img src="./images/STC.png" width="700" />
</p>

### 常识推理
**🗣️ 视频生成提示：** 一根羽毛与一块重石在地球表面同一高度同时释放并下落。

**🎬 合成视频：**
<p align="center">
<img src="images/feather_veo2.gif" width="700"/>
</p>

**🤖 MLLMs生成的视频问答结果：**
<p align="center">
<img src="./images/CSR.png" width="700" />
</p>

### 物理规则
**🗣️ 视频生成提示：** 生成一段子弹射入西瓜的序列画面。

**🎬 合成视频：**
<p align="center">
<img src="images/watermelon_explode-ezgif.com-video-to-gif-converter.gif" width="700"/>
</p>

**🤖 MLLMs生成的视频问答结果：**
<p align="center">
<img src="./images/P.png" width="700" />
</p>

## <a name='evaluation'></a>📊 主流MLLMs的基准测试结果
我们对不同规模与训练策略的SOTA模型进行了评估，报告了整体与子类别准确率。Qwen2.5-VL-32B在所有模型中取得了最高的整体性能。
<p align="center">
<img src="images/all_results.png" style="zoom:20%;" />
</p>

我们在VideoHallu上对SOTA MLLMs进行了评估，结果按子类别拆分展示。从左至右分别为：(a) 参数规模小于7B的模型；(b) 参数规模在7B–38B之间的模型；(c) 基于R1微调的模型；(d) 大型黑盒MLLMs。尽管诸多模型在对齐性任务上表现良好，但在推理复杂度较高的任务中仍易产生幻觉，尤其是在物理与常识推理任务上性能显著较弱。
<p align="center">
<img src="./images/all_radar.png" style="zoom:20%;" />
</p>

## 🏅 <a name='rb'></a>奖励模型
我们以[ModernBERT](https://huggingface.co/docs/transformers/en/model_doc/modernbert)为基础模型，在[MOCHA](https://arxiv.org/abs/2010.03636)、[Prometheus-preference](https://huggingface.co/datasets/prometheus-eval/Preference-Collection)与[Pedants](https://arxiv.org/abs/2402.11161)数据集上进行微调，用于评估自由格式文本生成结果。我们将该RewardBert作为GRPO微调中的奖励函数。

#### 方法：`compute_score`
**参数**
- `reference_answer` (list of str)：问题的标准答案列表
- `candidate_answer` (str)：待评估的候选模型生成答案

**返回值**
- `tuple`：归一化分数与原始分数组成的元组。

python
from qa_metrics.RewardBert import RewardBert

rb = RewardBert(device='cuda')
reference_answer = "The Frog Prince"
candidate_answer = "The movie "The Princess and the Frog" is loosely based off the Brother Grimm's "Iron Henry""
rb.compute_score(reference_answer, candidate_answer)
# (0.29113227128982544, 2.1645290851593018)

## 🚀 <a name='training'></a>训练配置
我们采用[Video-R1](https://github.com/tulerfeng/Video-R1)的训练代码进行模型微调。

请使用我们提供的格式化JSON文件（[synthetic_data_split.json](https://github.com/zli12321/VideoHallu/blob/main/Data/synthetic_data_split.json)与[physbench_train_split.json](https://github.com/zli12321/VideoHallu/blob/main/Data/physbench_train_split.json)），并按照其官方说明完成模型训练。

## 📊 <a name='evaluation_ft'></a>微调实验结果
我们对在领域特定子数据集或基于课程学习的复合数据集上微调的模型进行了评估。结果表明，仅在通用真实世界视频上训练的模型在合成视频理解任务上几乎没有性能提升。引入通用物理数据可改善物理推理能力，而采用从真实世界物理任务到合成数据的课程学习策略，则可带来2.8%的性能提升。
<p align="center">
<img src="images/ft_results.png" style="zoom:20%;" />
</p>

我们展示了三类模型的结果：(a) 此前的SOTA MLLMs；(b) 在子数据集上微调的模型；(c) 通过课程学习在完整数据集上微调的模型。与基线模型（Qwen2.5-VL-7B）相比，在常识与物理数据上进行强化微调，可有效提升模型在合成视频理解任务中的推理能力与整体性能。
<p align="center">
<img src="images/ft_radar.png" style="zoom:20%;" />
</p>

## <a name='ak'></a>致谢
我们衷心感谢开源社区的贡献，相关项目包括：[R1-V](https://github.com/Deep-Agent/R1-V)、[DeepSeek-R1](https://github.com/deepseek-ai/DeepSeek-R1)、[Video-R1](https://github.com/tulerfeng/Video-R1)与[Qwen-2.5-VL](https://arxiv.org/abs/2502.13923)

## <a name='citations'></a>引用
如果您的研究工作中使用了本数据集，请考虑引用我们的论文：

bibtex
@misc{li2025videohalluevaluatingmitigatingmultimodal,
title={VideoHallu: Evaluating and Mitigating Multi-modal Hallucinations for Synthetic Videos},
author={Zongxia Li and Xiyang Wu and Yubin Qin and Guangyao Shi and Hongyang Du and Dinesh Manocha and Tianyi Zhou and Jordan Lee Boyd-Graber},
year={2025},
eprint={2505.01481},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2505.01481},
}

@misc{li2025surveystateartlarge,
title={A Survey of State of the Art Large Vision Language Models: Alignment, Benchmark, Evaluations and Challenges},
author={Zongxia Li and Xiyang Wu and Hongyang Du and Fuxiao Liu and Huy Nghiem and Guangyao Shi},
year={2025},
eprint={2501.02189},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2501.02189},
}

@misc{guan2024hallusionbenchadvanceddiagnosticsuite,
title={HallusionBench: An Advanced Diagnostic Suite for Entangled Language Hallucination and Visual Illusion in Large Vision-Language Models},
author={Tianrui Guan and Fuxiao Liu and Xiyang Wu and Ruiqi Xian and Zongxia Li and Xiaoyu Liu and Xijun Wang and Lichang Chen and Furong Huang and Yaser Yacoob and Dinesh Manocha and Tianyi Zhou},
year={2024},
eprint={2310.14566},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2310.14566},
}

@misc{wu2024autohallusionautomaticgenerationhallucination,
title={AutoHallusion: Automatic Generation of Hallucination Benchmarks for Vision-Language Models},
author={Xiyang Wu and Tianrui Guan and Dianqi Li and Shuaiyi Huang and Xiaoyu Liu and Xijun Wang and Ruiqi Xian and Abhinav Shrivastava and Furong Huang and Jordan Lee Boyd-Graber and Tianyi Zhou and Dinesh Manocha},
year={2024},
eprint={2406.10900},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2406.10900},
}