TRUST-Instruct

TRUST-Instruct是一个大规模的指令数据集，包含198K个样本，这些样本具有与人类事实核查工作流程相一致的推理链。该数据集旨在支持TRUST-VL模型，一个统一的可解释视觉语言模型，用于通用多模态虚假信息检测。数据集包含多种类型的扭曲，如文本扭曲、视觉扭曲和跨模态扭曲，并针对不同类型的扭曲设计了特定的子查询，引导模型进行逐步验证。

TRUST-Instruct is a large-scale instruction dataset containing 198K samples with reasoning chains consistent with human fact-checking workflows. This dataset is designed to support TRUST-VL, a unified interpretable vision-language model for general multimodal misinformation detection. The dataset includes multiple types of distortions, such as text distortions, visual distortions, and cross-modal distortions, and specific sub-queries are tailored for each type of distortion to guide the model to conduct step-by-step verification.

原始信息汇总

TRUST-VL: 统一且可解释的视觉-语言模型用于通用多模态虚假信息检测

数据集概述

TRUST-Instruct是一个大规模指令数据集，包含198K个具有结构化推理链的样本，与人类事实核查工作流程对齐，支持跨不同失真类型的有效联合训练。

数据集规模

• 样本数量：198K个推理样本

核心特征

• 结构化推理链与人类事实核查工作流程对齐
• 支持跨文本、视觉和跨模态失真类型的联合训练

数据集用途

• 支持TRUST-VL模型的训练
• 用于通用多模态虚假信息检测任务

许可证信息

数据和代码仅限研究使用

搜集汇总

数据集介绍

构建方式

TRUST-Instruct数据集的构建采用了结构化推理链生成流程，通过GPT-4o模型结合人工设计的任务查询模板，对多模态输入（文本、图像及检索证据）自动生成逐步推理注释。该流程包含严格的验证阶段，通过数据驱动提示迭代调整生成内容以确保与真实标签的一致性，最终整合来自Factify2、DGM4等现有数据集的19.8万条高质量样本，涵盖文本、视觉和跨模态三类失真类型。

特点

该数据集的核心特征在于其与人类事实核查工作流对齐的结构化推理链，每条样本均包含从共享基础步骤（如文本分析和视觉描述）到任务专用推理（如语调评估、视觉伪影检测和跨模态一致性验证）的完整逻辑序列。其多样性体现在均衡覆盖三大失真类型（文本失真37.5%、视觉失真41.2%、跨模态失真21.3%），且所有推理步骤均附带可解释的中间判断，为模型提供兼具语义深度和任务适应性的监督信号。

使用方法

TRUST-Instruct专为训练多模态 misinformation 检测模型设计，需与视觉-语言模型（如LLaVA架构）结合使用。输入格式包含图像-文本对、检索证据及任务特定问题，通过端到端指令调优使模型学习生成结构化推理链并输出最终真实性判断。典型应用场景包括联合训练不同失真类型以增强泛化能力，或作为评估基准测试模型在零样本设置下的跨任务推理性能。

背景与挑战

背景概述

TRUST-Instruct数据集由新加坡国立大学研究团队于2025年创建，旨在应对生成式人工智能时代多模态虚假信息检测的核心挑战。该数据集作为TRUST-VL模型的核心训练基础，聚焦文本扭曲、视觉篡改和跨模态不一致三类失真类型，通过19.8万条包含结构化推理链的样本，模拟人类事实核查工作流程。其创新性在于首次将共享推理能力与任务专用技能整合于统一框架，显著提升了模型在未知场景下的泛化能力与可解释性，对新闻可信性验证、社交媒体内容审核等领域产生深远影响。

当前挑战

该数据集解决的领域挑战包括：多模态虚假信息检测中模型对单一失真类型的过拟合问题，以及跨失真类型泛化能力不足的缺陷；构建过程中需克服标注标准异构性、细粒度视觉伪影捕捉困难、跨模态语义一致性验证等难题。具体而言，需协调不同数据源的标注规范差异，设计兼顾通用性与特异性的推理模板，并通过自动化流程生成高质量推理链以确保逻辑连贯性与证据对齐。

常用场景

经典使用场景

在多媒体虚假信息检测领域，TRUST-Instruct数据集作为大规模指令数据集，被广泛用于训练和评估统一的多模态虚假信息检测模型。其经典使用场景包括模型在文本扭曲、视觉篡改和跨模态不一致等多样化失真类型上的联合训练与泛化测试，通过结构化推理链模拟人类事实核查流程，显著提升模型在复杂新闻场景中的多模态理解与解释能力。

解决学术问题

该数据集解决了多模态虚假信息检测中模型泛化能力不足与可解释性缺失的核心学术问题。通过提供涵盖文本、视觉及跨模态失真的198K样本与结构化推理标注，支持模型学习共享推理能力（如文本分析、证据验证）与任务专用技能（如视觉伪影检测、语义一致性校验），显著提升了模型在未知场景下的检测精度与鲁棒性，推动了可解释人工智能在信息安全领域的发展。

衍生相关工作

该数据集衍生了多项经典研究工作，包括基于TRUST-VL框架的统一检测模型及其Question-Aware Visual Amplifier模块，这些工作显著推进了多模态推理的技术边界。此外，它启发了后续研究如多智能体事实核查系统、强化学习驱动的动态推理链优化，以及跨语言多模态虚假检测基准的构建，为领域提供了可复现的实验基础与理论创新支撑。