MultiTrust

MultiTrust是由清华大学和北京航空航天大学的研究团队共同创建的综合性数据集，专注于评估多模态大型语言模型（MLLMs）在可信度方面的表现。该数据集包含32个任务，覆盖了真实世界中的多种场景，包括生成和判别任务，以及多模态和纯文本任务。数据集的构建结合了现有的文本、图像和多模态数据集，通过手动和自动方法调整提示、图像和注释，以及通过互联网收集或使用Stable Diffusion等算法合成的新数据集。MultiTrust旨在解决MLLMs在真实应用中的可信度问题，如防止不期望的输出、确保社会影响等，为未来在可信度研究方面的发展提供了标准化和可扩展的评估工具。

MultiTrust is a comprehensive dataset jointly developed by research teams from Tsinghua University and Beihang University (Beijing University of Aeronautics and Astronautics), focusing on evaluating the trustworthiness performance of multimodal large language models (MLLMs). This dataset includes 32 tasks spanning a wide range of real-world scenarios, covering both generative and discriminative tasks, as well as multimodal and pure-text tasks. For its construction, existing text, image, and multimodal datasets are integrated, with prompts, images and annotations adjusted via both manual and automated methods; additionally, new datasets are either collected from the Internet or synthesized using algorithms such as Stable Diffusion. MultiTrust aims to address the trustworthiness issues of MLLMs in real-world applications, such as preventing undesirable outputs and ensuring positive social impacts, providing a standardized and scalable evaluation tool for future trustworthiness-related research.

搜集汇总

数据集介绍

构建方式

MultiTrust数据集的构建采用了系统化与创新性相结合的方法，旨在全面评估多模态大语言模型（MLLMs）的可信度。该数据集围绕真实性、安全性、鲁棒性、公平性和隐私性五个核心维度，设计了32项多样化任务，涵盖生成式与判别式、多模态与纯文本等多种类型。数据来源主要包括对现有文本、图像及多模态数据集的适应性改造，以及通过人工收集、互联网爬取和合成技术（如Stable Diffusion、GPT-4V）全新构建的数据。具体构建过程中，研究团队对现有数据集进行了提示词、图像及标注的适配与增强，同时针对新颖任务场景，设计了专门的数据合成与标注流程，确保了数据集的广泛覆盖与任务针对性。

特点

MultiTrust数据集具有全面性、统一性与深入性三大核心特点。全面性体现在其首次系统整合了可信度的五个关键维度，并细分为10个子方面，突破了以往研究仅关注单一或少数维度的局限。统一性表现为数据集通过模块化设计提供了标准化的评估接口与任务执行框架，支持对21种先进MLLMs（包括4种专有模型与17种开源模型）进行一致且可扩展的评估。深入性则源于其独特的评估策略，不仅考察多模态场景中新增的风险（如对抗性图像攻击、视觉越狱），还创新性地探究了跨模态影响，即视觉输入如何改变纯文本任务中基座LLMs的行为表现，从而更全面地揭示了多模态引入的复杂性。

使用方法

MultiTrust数据集的使用依托于其配套发布的标准化工具箱，该工具箱采用统一接口与模块化设计，便于研究者进行可扩展的可信度研究。具体使用流程包括：首先，通过工具箱加载预定义的32项任务及其对应数据集，这些任务已按维度与子方面组织，用户可根据评估目标灵活选择。其次，工具箱支持集成多种MLLMs，提供标准化的模型交互与推理执行环境。评估过程中，用户可应用多样化的指标（如准确率、拒绝回答率、攻击成功率等）并利用自动评估器（如GPT-4、关键词匹配）对模型输出进行分析。此外，工具箱允许用户引入新的模型、任务或数据集，以持续扩展基准评估的范围与深度，为可信度研究的迭代与比较提供坚实基础。

背景与挑战

背景概述

MultiTrust 数据集由清华大学、北京航空航天大学、上海交通大学及 RealAI 等机构的研究团队于 2024 年 6 月联合发布，旨在系统评估多模态大语言模型（MLLMs）的可信度。该数据集围绕真实性、安全性、鲁棒性、公平性和隐私性五大核心维度，构建了涵盖 32 项任务的统一评测基准，并引入了多模态风险与跨模态影响的深度评估策略。通过整合 21 个前沿 MLLMs 的大规模实验，MultiTrust 揭示了模型在复杂多模态场景下的未探索风险，强调了多模态特性对模型可信度的复杂影响，为后续研究提供了重要的实证基础与标准化工具箱。

当前挑战

MultiTrust 面临的挑战主要体现在两大层面：在领域问题层面，其需解决多模态大语言模型在真实性、安全性、鲁棒性、公平性及隐私性等多维可信度属性的统一评估难题，尤其需应对多模态引入的新型风险（如对抗性图像攻击、视觉上下文越狱）以及跨模态交互引发的性能不稳定问题；在构建过程层面，挑战包括设计覆盖多维度、多场景的综合性任务体系，构建高质量的多模态评测数据（涉及现有数据适配、新数据合成与人工标注），以及开发支持标准化、可扩展评测的工具箱，以克服现有评测基准的碎片化与局限性。

常用场景

经典使用场景

MultiTrust作为首个全面统一的多模态大语言模型可信度评估基准，其经典使用场景在于系统性地评测模型在真实性、安全性、鲁棒性、公平性和隐私性五大核心维度的表现。该基准通过设计涵盖32项多样化任务的评估框架，深入探究多模态风险与跨模态影响，为研究社区提供了一个标准化的测试平台。在模型开发与优化过程中，研究者可借助MultiTrust全面诊断现有MLLMs在复杂多模态环境下的可信缺陷，识别诸如对抗攻击脆弱性、隐私泄露倾向以及隐性偏见等关键问题，从而推动更可靠、更安全的模型架构与训练范式的演进。

衍生相关工作

MultiTrust的发布催生了一系列围绕多模态大语言模型可信度研究的衍生工作。其开源的工具箱为社区提供了可扩展的标准化评估基础设施，促进了后续研究在统一框架下的比较与迭代。基于其揭示的模型脆弱性，研究者们开始探索针对性的增强技术，例如改进的视觉编码器架构、基于人类反馈的强化学习在跨模态对齐中的应用，以及针对多模态对抗样本的防御方法。同时，该基准中关于跨模态影响的现象也激发了对于多模态推理稳定性、模态间注意力机制以及指令跟随鲁棒性等深层机理的进一步探索，推动可信多模态人工智能向更纵深的方向发展。

数据集最近研究

最新研究方向

在人工智能领域，随着多模态大语言模型（MLLMs）的广泛应用，其可信度问题日益凸显。MultiTrust作为首个全面评估MLLMs可信度的基准，聚焦于真实性、安全性、鲁棒性、公平性和隐私五大维度，通过涵盖32项任务的系统化评估，揭示了当前模型在多模态风险与跨模态影响中的脆弱性。前沿研究正致力于探索增强模型对齐、提升对抗鲁棒性及优化隐私保护机制的新方法，同时关注动态环境下的持续评估与进化策略，以应对日益复杂的实际应用场景。

相关研究论文

• Benchmarking Trustworthiness of Multimodal Large Language Models: A Comprehensive Study

  清华大学 · 2024年