Unmasking the Canvas Benchmark (UTCB)|图像生成数据集|模型评估数据集

Unmasking the Canvas Benchmark (UTCB) 是一个动态和可扩展的基准数据集，用于评估大型语言模型 (LLM) 在图像生成中的漏洞。该数据集包含超过 6772 个图像生成提示，并具有丰富的元数据和多个注释级别。UTCB 被设计为随着新数据源、提示模板和模型行为的出现而不断发展。数据集通过社区反馈和公共越狱数据集的集成进行扩展。

AI搜集汇总

数据集介绍

构建方式

在人工智能安全研究领域，评估大型语言模型在图像生成任务中的脆弱性至关重要。UTCB数据集的构建采用了多阶段工程化流程：首先基于JAILBREAKHUB文本越狱数据集，通过Llama模型生成适配图像越狱的提示词；随后采用祖鲁语、盖尔语和Base64编码进行多语言混淆处理；最终形成包含6772条提示词的结构化数据集。数据标注采用三级质量体系，包括未验证的青铜级、模型验证的银级和人工验证的金级，并配备完善的元数据标签体系。

特点

该数据集展现出三大核心特征：其动态性体现在持续集成新型攻击模板和多语言变种的能力；分层标注体系实现了从自动化筛选到专家验证的梯度质量控制；多维度元数据覆盖提示词类型、攻击类别、语言变体等要素，为研究模型脆弱性模式提供丰富分析维度。特别值得注意的是，数据集包含独创的'分镜攻击'等新型图像越狱技术，为安全研究提供了独特视角。

使用方法

研究者可通过受控访问接口获取数据集，严格限制于学术用途。典型应用场景包括：评估图像生成模型的安全防护机制，通过元数据过滤特定攻击类型进行针对性测试，或利用分级标注数据训练安全检测模型。数据集配套提供基于Llama的评判模型，可自动评估提示词风险等级。使用时需遵循伦理规范，高风险内容仅限核心研究团队接触，所有输出均经过脱敏处理以确保负责任披露。

背景与挑战

背景概述

Unmasking the Canvas Benchmark (UTCB) 是由Rutgers University-New Brunswick的研究团队于2025年提出的动态基准数据集，旨在评估大型语言模型（LLMs）在图像生成任务中的安全漏洞。该数据集由Variath Madhuapl Gautham Nair和Vishal Varma Dantuluri等人主导开发，核心研究问题聚焦于通过自然语言提示（prompt）绕过模型的内容安全机制，生成违规图像。UTCB的提出填补了多模态系统在对抗性攻击研究中的空白，对提升模型安全性和隐私保护具有重要影响力。

当前挑战

UTCB面临的挑战主要体现在两方面：领域问题方面，图像生成模型的对抗性攻击（如伪造文档、名人深度伪造）对内容安全提出了更高要求，而现有安全机制在多语言混淆（如祖鲁语、盖尔语）和编码攻击（如Base64）下表现脆弱；数据构建方面，需平衡自动化生成（如LLaMA-3生成的提示）与人工验证的可靠性，同时需解决低资源语言处理、多模态任务冲突（翻译vs图像生成）等技术难题，以及动态更新机制的设计以应对不断演变的攻击手段。

常用场景

经典使用场景

Unmasking the Canvas Benchmark (UTCB) 数据集在评估大型语言模型（LLM）在图像生成任务中的安全性漏洞方面具有经典应用场景。通过结合结构化提示工程、多语言混淆（如祖鲁语、盖尔语、Base64编码）以及自动化风险评估，UTCB为研究人员提供了一个动态且可扩展的基准测试工具。该数据集特别适用于测试模型在面对对抗性提示时的鲁棒性，例如生成伪造文件或篡改公众人物图像等高风险内容。

解决学术问题

UTCB 数据集解决了当前LLM在图像生成领域中的关键学术问题，尤其是模型在面对对抗性提示时的脆弱性。通过系统化的提示生成和评估流程，该数据集揭示了模型在多语言混淆和复杂模板攻击下的安全缺陷。其分层标注机制（Bronze、Silver、Gold）进一步提升了数据可靠性，为改进模型的安全训练和防御策略提供了实证基础。

衍生相关工作

UTCB 数据集衍生了一系列关于多模态模型安全性的经典研究。例如，基于其多语言混淆方法，后续工作探索了低资源语言在对抗攻击中的有效性；而其分层标注框架启发了动态基准测试在文本生成领域的扩展应用。此外，数据集提出的自动化风险评估流程被广泛用于黑盒模型的安全性分析。