Nemotron-RL-Agentic-Indirect-Prompt-Injection-v1

Nemotron-RL-Agentic-Indirect-Prompt-Injection-v1是一个强化学习数据集，专门用于训练和评估工具使用代理抵抗间接提示注入攻击的能力。它模拟了攻击者将恶意指令隐藏在工具返回的环境数据中的场景。每个数据记录包含一个良性的用户请求，要求调用读取工具，其输出中包含伪装成合法领域内容的对抗性指令。用户任务总是要求使用与注入攻击的目标工具不同的写入工具，因此任何调用目标工具的行为都表明代理遵循了注入指令。数据集覆盖九个企业领域：医疗保健、法律、房地产、物流、电子商务、教育、人力资源、IT服务台和保险，每个领域都有其专属的工具目录、环境模式和领域相关的注入向量。注入攻击通过自动化的红队循环生成，攻击者模型针对防御者模型迭代重写注入指令直至攻击成功。攻击类别包括：未授权操作、数据修改、拒绝服务和数据窃取。数据集采用Gym模式，包含id、domain、attack_category、target_tool、injection_vector、agent_ref、responses_create_params、environment、required_tools、injection和verifier_config等字段。verifier_config调用确定性的轨迹分析验证器，训练时无需LLM法官。数据集完全合成，共包含1,272条记录，采用JSONL格式，适用于商业或非商业用途，旨在支持强化学习、可验证奖励的强化学习实验以及构建NeMo Gym兼容的代理安全环境。Nemotron-RL-Agentic-Indirect-Prompt-Injection-v1 is a reinforcement learning dataset specifically designed for training and evaluating the ability of tool-using agents to resist indirect prompt injection attacks. It simulates scenarios where attackers hide malicious instructions within environmental data returned by tools. Each data entry contains a benign user request that requires invoking a read tool, whose output includes adversarial instructions disguised as legitimate domain content. The user’s task always mandates using a write tool distinct from the target tool of the injection attack; thus, any invocation of the target tool indicates that the agent has complied with the injected instruction. The dataset covers nine enterprise domains: healthcare, legal, real estate, logistics, e-commerce, education, human resources, IT service desk, and insurance. Each domain has its exclusive tool directory, environmental schema, and domain-specific injection vectors. Injection attacks are generated via an automated red team loop, wherein the attacker model iteratively revises the injection instructions against the defender model until the attack succeeds. Attack categories include unauthorized operations, data modification, denial of service, and data exfiltration. The dataset follows the OpenAI Gym interface format and includes fields such as id, domain, attack_category, target_tool, injection_vector, agent_ref, responses_create_params, environment, required_tools, injection, and verifier_config. The verifier_config invokes a deterministic trajectory analysis validator, eliminating the need for an LLM judge during model training. The dataset is fully synthetic, containing a total of 1,272 records in JSONL format. It is available for both commercial and non-commercial use, with the goal of supporting reinforcement learning, verifiable reward reinforcement learning experiments, and the development of NeMo Gym-compatible agent security environments.

原始信息汇总

数据集概述：Nemotron-RL-Agentic-Indirect-Prompt-Injection-v1

基本信息

• 数据集名称：Nemotron-RL-Agentic-Indirect-Prompt-Injection-v1
• 数据集所有者：NVIDIA Corporation
• 创建日期：2026年4月1日
• 版本：第一个发布版本
• 许可证：Creative Commons Attribution 4.0 International (CC-BY 4.0)
• 语言：英语
• 数据集规模：1,272条记录

任务与领域

任务类型

• 强化学习
• 文本生成

覆盖领域

数据集涵盖九个企业领域：

1. healthcare（医疗）
2. legal（法律）
3. real_estate（房地产）
4. logistics（物流）
5. ecommerce（电商）
6. education（教育）
7. hr（人力资源）
8. it_helpdesk（IT服务台）
9. insurance（保险）

攻击类别

数据集包含四种间接提示注入攻击类型：

• unauthorized_action（42.5%）：触发用户未要求的敏感写入操作
• data_modification（28.8%）：修改现有记录
• denial_of_service（19.4%）：取消、删除或中断合法操作
• exfiltration（9.3%）：将敏感数据转发至攻击者控制的目标

数据集用途

• 对使用工具的LLM智能体进行强化学习，以抵抗嵌入工具返回数据中的间接提示注入攻击
• 使用确定性轨迹分析进行可验证奖励的强化学习（RLVR）实验
• 构建兼容NeMo Gym的智能体安全环境

数据生成与过滤

生成方式

数据集完全由合成数据生成，无种子数据。生成流程包括：

• LLM生成攻击者目标（具体target_tool + target_args）
• 生成器LLM生成连贯的用户任务和模拟环境，将注入隐藏在与领域适配的自由文本字段中
• 攻击者模型与防御者模型在多轮智能体循环中迭代改写注入文本，直至注入成功

使用的模型

• LLM生成器/攻击者模型：Nemotron Super 3
• LLM防御者模型：Nemotron Nano 3

过滤条件

1. LLM对攻击者目标进行评分
2. 程序化检查任务与工具的对齐性以及注入位置的正确性
3. 基于防御者最易遵循的配置进行加权重采样
4. 迭代红队循环，仅保留成功欺骗防御者的注入

数据格式与字段

格式

• 模态：文本
• 格式：JSONL
• 结构：每条记录包含智能体元数据、Responses API风格对话种子和工具模式、包含嵌入注入的模拟环境、注入元数据及轨迹分析验证器配置

关键字段

字段	类型	描述
id	int	稳定从0开始的每记录索引
domain	string	所属领域
attack_category	string	攻击类型
target_tool	string	注入试图让智能体调用的工具
injection_vector	string	注入文本所在的环境字段
agent_ref	object	智能体元数据
responses_create_params	object	Responses API风格载荷（input、tools、tool_choice、max_output_tokens）
environment	object	领域特定模拟后端状态，注入文本位于其中
required_tools	list[string]	智能体必须调用的读取工具
injection	object	攻击元数据（goal、target_tool、target_args、verification_type、vector、category、injection_text）
verifier_config	object	确定性轨迹分析验证器配置

数据量化统计

按领域分布

领域	样本数	占比
healthcare	183	14.4%
legal	177	13.9%
real_estate	160	12.6%
logistics	158	12.4%
ecommerce	157	12.3%
education	150	11.8%
hr	131	10.3%
it_helpdesk	91	7.2%
insurance	65	5.1%

按攻击类别分布

攻击类别	样本数	占比
unauthorized_action	541	42.5%
data_modification	366	28.8%
denial_of_service	247	19.4%
exfiltration	118	9.3%

验证机制

• 使用确定性轨迹分析验证器（agentic_ipi模式）
• 无需LLM评判模型参与训练
• 验证规则：若智能体调用了注入的target_tool及其target_args，则判定为遵循了注入；否则判定为抵抗成功

伦理考量

数据集中的注入文本是故意为之的对抗性内容，仅应用于安全训练和评估。开发者应确保数据集满足相关行业和用例的要求，并防范未预见的产品滥用问题。

搜集汇总

数据集介绍

构建方式

该数据集由NVIDIA采用完全合成的方式构建，核心流程通过自动化红队对抗循环实现。首先，由Nemotron Super 3模型生成具体的攻击者目标，包括目标工具与参数。随后，另一生成模型创建协调的用户任务与模拟环境，将对抗指令嵌入领域相关的自由文本字段中。攻击者模型与Nemotron Nano 3防御者模型在多方轮次代理循环中迭代博弈，直到防御者的工具调用轨迹显示注入成功。数据记录仅保留红队循环成功击破防御者的样本，并经过攻击目标评分、任务与工具一致性校验、注入位置合理性检查及易感性加权重采样等多重筛选。

使用方法

该数据集专为训练与评估工具使用型代理抵御间接提示注入攻击的强化学习场景设计。每条记录包含响应API格式的对话前缀与领域工具集，开发者可直接加载JSONL文件，构建模拟环境供代理交互。训练时利用verifier_config中的轨迹分析验证器，自动检测代理调用轨迹中是否出现注入指示的目标工具与参数，作为奖励信号进行RLVR实验。数据集兼容NeMo Gym框架，支持构建代理安全性的标准化环境，适用于商业与非商业研究中的鲁棒性训练与基准测试。

背景与挑战

背景概述

随着大型语言模型在工具调用场景中的广泛应用，它们面临一种新型安全威胁——间接提示注入攻击。攻击者将恶意指令伪装成合法环境数据，诱使智能体执行未经授权的操作。为应对这一挑战，NVIDIA公司于2026年4月发布了Nemotron-RL-Agentic-Indirect-Prompt-Injection-v1数据集。该数据集聚焦于智能体安全领域，涵盖医疗、法律、房地产、电商等九大企业领域，包含1272条合成样本，覆盖未授权操作、数据篡改、拒绝服务和数据窃取四类攻击。通过自动化红队流程生成高质量攻击样本，该数据集为强化学习训练和评估工具调用型智能体的抗提示注入能力提供了标准化基准，对推动智能体安全性研究具有里程碑意义。

当前挑战

该数据集主要解决智能体在工具调用环境中面临的间接提示注入安全难题，即攻击者将恶意指令隐藏在工具返回的环境数据中，使智能体可能在不知情下执行危险操作。此外，数据集构建过程同样面临严峻挑战：如何生成多样且逼真的攻击场景以覆盖九大领域，需要精心设计领域特定的工具目录和环境架构；如何确保攻击样本的有效性和对抗性，则依赖于自动化红队循环中攻击模型与防御模型的迭代博弈，唯有成功欺骗防御模型的样本才被保留；验证机制的可靠性设计亦是一大难点，最终采用的确定性轨迹分析验证器避免了LLM裁判的不稳定性，确保了训练过程的鲁棒性。

常用场景

经典使用场景

在人工智能安全与对齐研究领域，该数据集为强化学习驱动的工具调用型大语言模型提供了抵御间接提示注入攻击的标准化训练与评估基准。每一组数据样本均模拟了智能体在完成用户合法请求的过程中，需要调用读取工具以获取环境数据，而工具返回的内容中隐藏着经对抗性红队迭代优化的恶意指令。这些指令伪装成医疗记录、法律案例摘要、产品描述或简历文本等九个企业领域的真实文本片段，迫使智能体在不知情的情况下执行未授权的工具调用操作。该数据集专为基于可验证奖励的强化学习实验设计，通过确定性迹分析验证器判断智能体是否遵循了注入指令，无需依赖高成本的LLM裁判模型，从而为安全智能体的鲁棒性训练提供了高效且可复现的实验框架。

解决学术问题

该数据集系统性地解决了工具调用型智能体在安全对齐研究中面临的间接提示注入这一关键挑战。现有的对齐研究多聚焦于直接提示注入或越狱攻击，但忽视了当智能体从外部工具或数据库中获取数据时，攻击者能够将恶意指令嵌入看似无害的内容之中。该数据集涵盖了未授权操作、数据篡改、拒绝服务与信息窃取四类经典攻击类型，并覆盖医疗、法律、金融等九个高风险领域，为学术界提供了首个大规模、跨领域、包含确定性验证机制的间接提示注入研究资源。其意义在于揭示了智能体安全性的薄弱环节并非仅来自用户输入，更可能来源于其所信任的第三方数据源，从而推动了对齐研究从静态指令遵从向动态环境防御的范式转变。

实际应用

在企业级AI系统的实际部署中，该数据集直接服务于构建能够安全执行工具调用的智能客服、医疗助理、法律文书处理与IT运维助手等关键应用。例如，在医疗领域，智能体需要从患者病历中提取信息并更新记录，但病历文本中可能嵌入伪造的医生指令，试图诱导智能体发送转诊邮件或修改用药方案。该数据集通过模拟此类真实攻击场景，帮助开发者训练智能体识别并拒绝执行任何未经用户明确授权的工具调用，从而保障患者数据隐私与医疗流程安全。在电商与物流场景中，智能体面对商品描述或订单备注中的注入攻击时，能够坚守业务逻辑边界，避免因误执行恶意指令导致的订单篡改或服务中断。

数据集最近研究

最新研究方向

在人工智能体安全研究的前沿，间接提示注入攻击已成为威胁大型语言模型代理可靠性的核心挑战。Nemotron-RL-Agentic-Indirect-Prompt-Injection-v1数据集由NVIDIA构建，聚焦于训练与评估工具调用型代理抵御隐藏于环境数据中的对抗性指令的能力。该数据集覆盖医疗、法律、电商等九个企业领域，通过自动化红队迭代生成攻击样本，涵盖未授权操作、数据篡改、拒绝服务与数据窃取四类典型威胁，并采用确定性轨迹分析验证器，无需依赖大语言模型评判。其重大意义在于为可验证奖励的强化学习提供了标准化安全环境，推动代理安全性从概念验证迈向工业化部署，对构建值得信赖的自主系统具有深远影响。