Rationale-Augmented Dataset

Rationale-Augmented Dataset是一个包含指令和理由对的数据集，旨在帮助LVLMs模型在解释相关图像时生成更加准确的文本内容，减少幻觉现象。数据集的创建过程涉及使用LLM模型生成理由说明，并将这些理由嵌入到原始指令中。数据集的应用领域主要是多模态推理任务，如图像描述、视觉问答和多模态对话。通过使用Rationale-Augmented Dataset进行微调，模型在幻觉特定任务和更广泛的多模态推理任务上都有显著提升。

The Rationale-Augmented Dataset is a dataset comprising instruction-rationale pairs, designed to help large vision-language models (LVLMs) generate more accurate textual content when interpreting relevant images and reduce hallucinations. The dataset is constructed by generating rationales via large language models (LLMs) and embedding these rationales into the original instructions. It is primarily applied to multimodal reasoning tasks, such as image captioning, visual question answering (VQA), and multimodal dialogue. Fine-tuning models using the Rationale-Augmented Dataset leads to significant improvements in both hallucination-specific tasks and broader multimodal reasoning tasks.

搜集汇总

数据集介绍

构建方式

Rationale-Augmented Dataset的构建采用了创新的视觉链插入技术（VCIT）和自批判偏好学习机制。研究团队首先从原始监督微调数据集中筛选出需要强视觉推理能力的任务样本，包括通用视觉对话、几何问题解答等多样化场景。随后利用专有大型语言模型生成与图像内容相关的理性解释，这些解释被整合到原始问题中形成增强输入。不同于传统方法，该框架将理性思考过程前置到问题中，模拟人类先理解基础原理再作答的认知模式。

特点

该数据集的核心特征在于其独特的理性增强机制与自我优化的学习框架。每个数据样本不仅包含多模态输入和答案，还融入了基于图像内容生成的逐步推理依据，有效弥补了现有指令数据集缺乏解释性标注的缺陷。通过自批判机制，模型能够自主评估并优化响应质量，无需依赖外部API反馈，既避免了分布偏移问题，又提升了推理过程的透明度。实验表明，这种结构化的方法论学习使模型在有限数据下也能实现显著性能提升。

使用方法

使用该数据集时，研究者可采用端到端的监督微调范式进行模型训练。增强后的输入格式包含图像、原始问题、理性解释三部分，输出保持标准答案不变。对于偏好学习阶段，模型会基于自批判机制生成响应对比对，通过直接偏好优化（DPO）算法实现自我提升。该方法特别适用于解决大型视觉语言模型中的幻觉问题，在图像描述、视觉问答等任务中，能引导模型进行更严谨的上下文推理。用户可根据需要选择全量数据微调，或针对特定子任务（如几何推理）使用增强后的子集进行训练。

背景与挑战

背景概述

Rationale-Augmented Dataset是由中国科学院信息工程研究所与腾讯PCG基础技术中心的研究团队于2025年提出的创新性多模态数据集，旨在解决大型视觉语言模型（LVLMs）在视觉推理任务中产生的幻觉问题。该数据集通过引入视觉链式思维（Visual Chain-of-Thought）和自批判机制，将基础判断依据和推理过程显式整合到指令微调过程中，突破了传统方法依赖大规模数据隐含关联的局限。其核心创新在于提出了Re-Critic框架，通过视觉原理合成器和自批判偏好学习两条路径，显著提升了模型在MMHal、POPE等幻觉评测基准及MathVista等多模态推理任务中的性能表现，在LLaVA-80K指令数据集上实现了31.8%的性能提升。

当前挑战

该数据集面临的双重挑战体现在问题解决与构建过程两个维度。在领域问题层面，需攻克多模态幻觉这一核心难题：现有LVLMs在图像描述、视觉问答等任务中易生成与视觉内容不符的文本输出，包括虚构物体属性（如错误描述花瓶颜色）及错误计数（如斑马数量识别偏差）等典型场景。在构建技术层面，研究者需解决三大工程挑战：如何通过视觉链插入技术（VCIT）实现原始指令与原理说明的可扩展融合；如何设计无第三方API依赖的自批判机制以避免分布偏移问题；以及如何平衡增强数据规模与模型泛化能力的关系，在仅增强10%训练数据的情况下实现性能突破。

常用场景

经典使用场景

Rationale-Augmented Dataset（RAD）作为视觉-语言大模型（LVLM）训练的关键增强工具，其经典应用场景聚焦于多模态推理任务的指令微调阶段。通过将视觉链式推理（Visual Chain-of-Thought）嵌入原始指令，该数据集显著提升了模型在图像描述生成、视觉问答（VQA）等任务中的上下文推理能力。例如，在几何问题解答任务中，RAD通过注入几何定理和空间关系判据的显式解释，引导模型从反射材质识别等底层视觉特征出发进行逐步推演，从而纠正传统方法中常见的物体属性误判问题。

衍生相关工作

该数据集催生了多个里程碑式的研究方向：在方法层面，启发了HA-DPO等基于自监督偏好的对齐算法，推动RLHF-V框架采用RAD的视觉链插入技术；在评测体系方面，其构建原则被HallusionBench等基准采纳，发展出细粒度的幻觉类型诊断标准。值得关注的是，MiniGPT-4团队通过适配RAD的数据增强策略，在MME感知任务中实现10.2%的性能跃升，证实了该框架对不同架构LVLM的普适性。

数据集最近研究

最新研究方向

在大型视觉语言模型（LVLMs）领域，Rationale-Augmented Dataset的最新研究方向聚焦于通过增强视觉推理链来缓解模型幻觉问题。前沿研究如Re-Critic框架，通过将视觉链式思维（CoT）融入指令数据集，显著提升了模型在复杂多模态推理任务中的表现。这一方法不仅减少了对象幻觉，还在数学推理（MathVista）和真实场景问答（RealWorldQA）等基准测试中实现了性能突破。当前热点包括自批判偏好学习机制和硬样本采样策略的探索，这些技术通过减少对外部API的依赖，有效解决了数据分布偏移问题。该数据集的创新意义在于，它首次系统性地将方法论学习引入多模态预训练，为提升模型的可解释性和泛化能力提供了新范式。

相关研究论文

• Critique Before Thinking: Mitigating Hallucination through Rationale-Augmented Instruction Tuning

  中国科学院信息工程研究所, 腾讯PCG基础技术中心 · 2025年