AIMS (Annotated Intents for Model Safety)

AIMS（模型安全标注意图）数据集是由格罗宁根大学等机构构建的面向大语言模型安全分类的人类标注意图数据集，旨在通过显式建模用户意图来提升安全分类器的鲁棒性。该数据集包含1,724条经过筛选的困难安全提示，每条数据均配有单句意图描述和伤害标签，数据源自WildGuardMix数据集中通过集成模型不确定性估计选出的模糊、对抗性及边界案例。其构建过程涉及基于概率预测的候选提示筛选，并由标注者人工推断用户潜在意图并标注伤害等级，最终经质量过滤形成1,275条唯一提示对。该数据集主要应用于大语言模型安全防护领域，通过提供意图中心化的监督信号，支持监督微调、偏好学习、推理蒸馏和强化学习等多种训练机制，以解决传统安全分类器因忽略深层用户目标而导致的误判或过度拒绝问题。AIMS (Model Safety Annotation Intent) dataset is a human-annotated intent dataset for large language model (LLM) safety classification, constructed by the University of Groningen and other institutions. It aims to improve the robustness of safety classifiers by explicitly modeling user intent. This dataset contains 1,724 filtered challenging safety prompts, each paired with a single-sentence intent description and harm label. The data is sourced from ambiguous, adversarial, and borderline cases selected via ensemble model uncertainty estimation from the WildGuardMix dataset. Its construction process involves candidate prompt screening based on probabilistic predictions, followed by human annotators inferring users' latent intents and annotating harm levels, ultimately resulting in 1,275 unique prompt pairs after quality filtering. This dataset is primarily applied in the field of LLM safety protection, providing intent-centric supervision signals to support various training mechanisms such as supervised fine-tuning, preference learning, inference distillation, and reinforcement learning, so as to address the misjudgment or over-rejection issues of traditional safety classifiers caused by their neglect of deep-seated user goals.

搜集汇总

数据集介绍

构建方式

AIMS数据集源自WildGuardMix，通过不确定性过滤选取了模型预测置信度介于0.35至0.65之间的1,724条困难提示，这些提示涵盖了模糊、对抗性和边界性案例。经过专业标注人员对每条提示进行意图推断、单句意图描述撰写以及四级危害程度标注（最终合并为二分类标签），并经质量筛选后，最终保留1,275条独特提示，每条均附带人工撰写的意图与危害标签。

特点

该数据集的核心特色在于将用户意图作为显式监督信号引入安全分类任务，每条样本均由提示、意图描述和危害标签三元组构成。数据集聚焦于意图推理至关重要的困难样本，其中70.1%的提示源自原始数据集中的对抗性样本。标注一致性分析显示，人类标注者在二值危害标签上达到0.55的Cohen's κ系数，且意图描述的语义相似度（平均余弦相似度0.62）显著高于模型生成的意图（0.50），凸显了人工标注意图的独特价值。

使用方法

AIMS数据集适用于多种意图感知训练范式，包括监督微调、偏好学习、推理蒸馏和强化学习。在监督微调中，模型需生成意图与标签的联合序列；在直接偏好优化中，利用模型生成的错误意图构建偏好对进行对比学习；在推理蒸馏中，教师模型基于人工意图生成结构化推理轨迹供学生模型学习；在GRPO中，意图忠实度作为在线奖励信号直接优化模型行为。该数据集同时支持对安全分类器行为进行细粒度诊断与可解释性分析。

背景与挑战

背景概述

在大型语言模型（LLM）广泛部署于通用助手的背景下，安全分类器成为负责任部署的核心环节。2025年，来自格罗宁根大学、布加勒斯特理工大学及英伟达的研究人员Jeremias Ferrao等人提出了AIMS（Annotated Intents for Model Safety）数据集，旨在解决安全分类中一个关键问题：有害性往往取决于用户的深层意图而非表面形式。该数据集包含1,724条由人工标注的困难安全提示，每条均配有意图描述与危害标签。AIMS的核心研究问题在于探究显式建模用户意图能否提升LLM安全分类器的鲁棒性。通过对有监督微调、偏好学习、推理蒸馏及强化学习四种训练范式的系统评估，该数据集证明了意图感知训练在各方案中均能显著提升性能，尤其在GRPO框架下结合意图忠实性奖励后，在五个外部安全基准上取得了最佳平均F1分数（0.836），超越了GPT-5.4及Nemotron Safety等强基线模型。AIMS的发布为安全分类领域提供了紧凑、高效且可解释的全新训练范式。

当前挑战

AIMS数据集所面对的挑战体现在多个层面。在领域问题层面，传统安全分类器将提示直接映射为二分类标签，忽视了用户意图这一关键中间变量，导致在面对模糊、对抗性及边界性提示时表现脆弱——恶意请求可隐藏在虚构场景、角色扮演或教育框架中，而良性提示可能因包含敏感词汇被误判。AIMS特别聚焦于这些困难案例，要求分类器回答更深层的问题：用户实际上试图达成什么目标？在数据集构建过程中，挑战同样严峻：研究团队需从WildGuardMix中筛选出模型预测概率处于[0.35, 0.65]区间的歧义样本，并训练集成分类器进行不确定性过滤，最终仅保留1,724条候选提示。人工标注阶段，标注者需仅凭提示推断用户意图并撰写单句描述，同时使用四点评分量表标注危害等级。质量控制显示，标注者间的二元标注一致性仅为Cohen's κ=0.55，且生成式模型（如Llama-3.1-8B）与人类标注意图间的余弦相似度仅0.50，凸显了在困难样本上精准捕捉意图的固有难度。

常用场景

经典使用场景

在大型语言模型的安全防护领域，AIMS数据集的核心价值在于为意图感知的安全分类器训练提供了高质量的标注资源。其经典使用场景是将用户意图作为显式信号嵌入模型训练流程，通过监督微调、偏好学习、推理蒸馏和强化学习等多种训练范式，引导模型在判别提示安全性的同时，先精准捕捉用户的真实意图。这一机制使得安全分类器不仅能识别字面上的有害内容，更能洞悉那些隐藏在虚构场景、角色扮演或教育框架之下的恶意目标，从而有效提升对复杂越狱攻击和边界案例的防护能力。

实际应用

在实际部署中，AIMS数据集驱动的意图感知安全分类器展现出低延迟与高精度的双重优势，尤其适用于需要实时拦截恶意请求的对话式AI系统。例如，在用户与AI助手的交互中，模型能准确区分恶意越狱提问与无害的学术讨论，避免对携带敏感词但意图良性的提示产生过度拒绝。同时，该数据集的训练范式支持在推理效率与安全性能之间取得帕累托最优，使得云服务和边缘设备均可部署轻量级的安全护栏，从而在保障用户体验的前提下，有效防范隐私泄露、虚假信息传播和非法行为诱导等实际安全威胁。

衍生相关工作

围绕AIMS数据集，衍生了多条富有启发性的研究路线。其中，基于意图错误的偏好学习（LE-DPO和IF-DPO）通过构建对比训练对，展示了惩罚不忠实意图对提升分类准确性的直接效果；意图条件推理蒸馏则将人类标注的意图作为特权信息注入教师模型，显著增强了学生对复杂边界案例的判断力。此外，采用分组相对策略优化（GRPO）直接奖励意图忠实性的工作，在五个外部安全基准上取得了最优平均性能，标志着意图信号从被动标注向主动优化的重要跨越。这些工作共同构成了鲁棒性安全分类的新兴研究框架。