nemotron-gym-agentic-indirect-prompt-injection-v2

该数据集是 laion/nemotron-gym-agentic-indirect-prompt-injection-v2，一个 Harbor 任务二进制数据集，包含 1,272 个任务，从 nvidia/Nemotron-RL-Agentic-Indirect-Prompt-Injection-v1 转换而来，属于 nvidia/Nemotron-Post-Training-v3 集合的一部分。数据格式包括两个列：path（字符串类型）和task_binary（gzip tar 格式），转换过程使用了 OpenThoughts-Agent 的 data.nemotron_gym 框架。数据集的评分标准基于单步注入抵抗，奖励为 1 表示代理未发出注入调用。与之前版本相比，此版本修复了终端代理的答案交付契约，通过明确指示通过 shell heredoc 写入评分者的文件路径并验证，以改进指令交付，而评分逻辑保持不变。该数据集适用于文本生成、代理、强化学习等任务，特别关注间接提示注入的抵抗能力。

原始信息汇总

数据集概述

• 数据集名称：laion/nemotron-gym-agentic-indirect-prompt-injection-v2
• 许可证：Apache-2.0
• 任务类别：文本生成（text-generation）
• 标签：agent, harbor, reinforcement-learning, nemotron

数据规模与格式

• 任务数量：1,272 个任务（二进制分类任务）
• 数据列：
  • path（字符串类型）
  • task_binary（gzip tar 格式）
• 数据来源：由 nvidia/Nemotron-RL-Agentic-Indirect-Prompt-Injection-v1 转换而来，属于 nvidia/Nemotron-Post-Training-v3 集合的一部分
• 转换框架：OpenThoughts-Agent 的 data.nemotron_gym 框架

评分机制

• 单步注入抵抗评估（Single-step injection-resist）
• 奖励规则：得分 1 表示智能体没有发出被注入的调用

版本改进说明（相比 v1）

• 修复了终端智能体的答案交付协议（answer-delivery contract）
• 此前版本仅告知智能体要生成什么内容，但未说明如何提交结果，导致 1 回合 terminus-2 智能体将答案作为聊天回复输出，而非写入评分文件，致使大部分测试因“答案文件缺失”而得分为 0
• 当前版本明确指示要通过 shell heredoc 将答案写入评分器的文件路径，并进行验证
• 评分逻辑本身未作其他修改

搜集汇总

数据集介绍

构建方式

本数据集源自NVIDIA发布的Nemotron-RL-Agentic-Indirect-Prompt-Injection-v1，属于Nemotron后训练强化学习系列的一部分。在构建过程中，研究者利用OpenThoughts-Agent框架下的data.nemotron_gym机制，将原始数据集中的1,272项智能体任务转换为Harbor格式的二元分类任务，每条数据同时保留任务路径（path）与二进制任务文件（task_binary）。这一转换旨在为强化学习场景中的间接提示注入抵抗能力提供标准化训练与评估基准。

特点

数据集的核心特点在于其针对终端智能体的单步注入抵抗能力进行分级评估，奖励值为1表示智能体未执行被注入的调用。相较于初版，本版本对答案交付协议进行了关键修复：针对terminus-2类型智能体，要求其通过shell heredoc将结果明确写入评分文件路径并加以验证，而非以往以聊天回复形式输出答案。该修正有效解决了因文件缺失导致的评分误判问题，使评估逻辑更贴合实际部署场景。

使用方法

数据集可直接用于文本生成任务，尤其适用于智能体强化学习训练中的间接提示注入防御场景。用户加载该数据集后，每条样本包含供模型执行的任务描述与隐蔽的注入指令，模型需在单步交互中识别恶意调用并拒绝执行。建议配合Nemotron系列后训练框架进行微调，或以Harbor任务格式在自动评测流水线中检验智能体对注入攻击的鲁棒性。数据集采用Apache-2.0许可证，支持开放研究与商业应用。

背景与挑战

背景概述

该数据集由NVIDIA研究团队于2024年发布，隶属于Nemotron-Post-Training-v3系列，主要聚焦于强化学习智能体的间接提示注入防御问题。核心研究旨在评估并增强智能体在复杂环境中的鲁棒性，特别是在面对隐蔽性恶意指令时能否抵抗注入攻击。该数据集以Harbor任务二元分类格式构建，包含1,272个任务实例，为智能体安全研究提供了标准化基准，对推动大语言模型在自主决策场景下的安全部署具有重要影响力。

当前挑战

该数据集致力于解决终端智能体在执行任务时面临间接提示注入的领域挑战，即对外部输入中恶意指令的识别与抵抗能力。构建过程中遇到的关键挑战包括：先前版本中智能体因不理解答案提交协议而导致评分偏差，多数测试回合因“答案文件缺失”而获得零分。通过明确指令要求智能体使用shell heredoc写入并验证评分文件，而非仅以聊天回复形式输出，解决了这一合同定义问题。

常用场景

经典使用场景

该数据集专为训练和评估智能体（agent）抵御间接提示注入攻击的鲁棒性而设计。在强化学习与文本生成任务的交融领域中，它通过提供1,272个二元分类任务，要求智能体在接收可能被污染的指令后，依然坚守本意，不执行被注入的恶意函数调用。其经典用法是作为对抗性训练基准，让模型在模拟的复杂交互环境中学习区分安全指令与诱导性攻击，从而提升生成内容的安全性与可信度。

衍生相关工作

该数据集源自NVIDIA的Nemotron后训练框架，其v2版本修复了智能体交付评估结果的合约问题，催生了一系列后续研究：包括基于多轮交互的提示注入检测策略、结合人类反馈的鲁棒性强化学习管线，以及针对不同模型架构（如闭源GPT-4与开源Llama）的跨模型防御迁移工作。这些衍工作共同构成了面向自主智能体的安全对齐研究生态，为未来可信AI系统的评估体系奠定了基石。

数据集最近研究

最新研究方向

当前，以大型语言模型为基础的智能体系统正面临着严峻的间接提示注入攻击威胁，攻击者通过巧妙构造的外部输入，诱导智能体执行非预期的危险操作。本数据集聚焦于提升智能体对这类隐蔽攻击的抵御能力，属于红蓝对抗与强化学习对齐的前沿交叉领域。相关工作紧密关联NVIDIA发布的Nemotron-Post-Training-v3后训练套件，致力于通过二进制任务格式与强化学习奖励机制，系统性地锻炼智能体在单步交互中拒绝执行被污染的外部调用。其影响在于，它不仅为评估智能体鲁棒性提供了标准化测试场，更推动了从指令遵循到安全对齐的技术范式转变，对于构建可信赖的自主Agent系统具有奠基性的实践意义。