HA-DPO

Hallucination-aware positive-negative data for HA-DPO (Hallucination-aware Direct Preference Optimization), which are used for LVLM hallucination mitigation. HA-DPO data consists positive-negative data for 3 LVLMs (MiniGPT-4, InstructBLIP, and LLaVA-1.5) in 2 formats (dense image description and question answering).本数据集为面向幻觉感知直接偏好优化（Hallucination-aware Direct Preference Optimization，HA-DPO）所需的幻觉感知正负样本数据，用于缓解大视觉语言模型（Large Vision-Language Model，LVLM）的生成幻觉问题。HA-DPO数据集包含针对3种大视觉语言模型（MiniGPT-4、InstructBLIP及LLaVA-1.5）的正负样本数据，涵盖两种数据格式：密集图像描述与问答任务。

搜集汇总

背景与挑战

背景概述

HA-DPO是一个用于缓解多模态大模型幻觉问题的数据集，包含正负样本对，覆盖三种LVLM模型（MiniGPT-4、InstructBLIP和LLaVA-1.5）和两种数据格式（图像描述和问答）。数据通过描述生成、GPT-4幻觉检测修正以及风格一致性增强等步骤构造而成，旨在提升模型的准确性。