nemotron-gym-agentic-indirect-prompt-injection

本数据集名为nemotron-gym-agentic-indirect-prompt-injection，由LAION组织提供，源自NVIDIA的Nemotron-RL-Agentic-Indirect-Prompt-Injection-v1数据集，属于Nemotron-Post-Training-v3集合的一部分。数据集包含1,272个任务，每个任务以Harbor任务二进制格式存储，其中每个样本包括path（字符串类型）和task_binary（gzip tar压缩格式）两个字段。数据通过OpenThoughts-Agent框架的data.nemotron_gym工具转换而来，适用于文本生成任务，特别聚焦于代理（agent）和强化学习场景中的间接提示注入（indirect prompt injection）问题。数据集提供了基于单步注入抵抗代理的评分机制：奖励值为1表示代理未发出注入调用。该数据集可用于训练和评估代理在抵抗间接提示注入方面的能力，标签包括agent、harbor、reinforcement-learning和nemotron，采用Apache-2.0许可证。This dataset is named nemotron-gym-agentic-indirect-prompt-injection. It is provided by LAION, derived from NVIDIA's Nemotron-RL-Agentic-Indirect-Prompt-Injection-v1 dataset, and constitutes a part of the Nemotron-Post-Training-v3 collection. The dataset comprises 1,272 tasks, each stored in Harbor task binary format. Each sample contains two fields: "path" (string type) and "task_binary" (gzip tar-compressed format). Converted via the data.nemotron_gym tool from the OpenThoughts-Agent framework, this dataset is tailored for text generation tasks, with a specific focus on indirect prompt injection scenarios in agent and reinforcement learning contexts. It offers a scoring mechanism for single-step injection-resistant agents: a reward value of 1 signifies that the agent did not issue an injection call. This dataset can be utilized to train and evaluate agents' ability to resist indirect prompt injection, with tags including agent, harbor, reinforcement-learning, and nemotron, and it is licensed under the Apache-2.0 license.

原始信息汇总

数据集概览：laion/nemotron-gym-agentic-indirect-prompt-injection

属性	内容
任务类型	文本生成（text-generation）
许可证	Apache-2.0
样本数量	1,272 个任务
来源	由 nvidia/Nemotron-RL-Agentic-Indirect-Prompt-Injection-v1 转换而来，属于 nvidia/Nemotron-Post-Training-v3 系列

数据格式

• 每一行是一个有效的 Harbor 任务二进制文件，包含两个字段：
  • path（字符串）
  • task_binary（gzip tar 压缩格式）
• 转换工具：OpenThoughts-Agent 框架中的 data.nemotron_gym

评估机制

• 评分标准：单步注入抵抗代理（reward 1 表示未执行被注入的调用）

搜集汇总

数据集介绍

构建方式

该数据集源自NVIDIA发布的Nemotron-RL-Agentic-Indirect-Prompt-Injection-v1，经Harbor框架转换而成。具体而言，研究者利用OpenThoughts-Agent中的data.nemotron_gym工具，将原始数据集中的1,272个任务逐一转换为Harbor任务二进制格式。每个任务样本包含两个字段：path（字符串类型）和task_binary（gzip压缩的tar文件），从而形成标准化的任务二元组。这一过程旨在将针对智能代理的间接提示注入攻击场景融入强化学习训练流程，以提升模型对恶意指令的鲁棒性。

特点

该数据集的核心特点在于聚焦于直接提示注入攻击的防御场景，属于Harbor任务二元组集合。每个任务均设计了单步注入抵抗代理，通过奖励机制评估模型行为：若模型未触发被注入的函数调用，则获得奖励值1，反之则不得分。这一设计将安全对齐问题转化为二进制分类任务，便于强化学习算法直接优化。数据集规模为1,272个任务，兼顾了训练效率与场景多样性，尤其适合用于后训练阶段的安全强化微调。

使用方法

该数据集主要适用于文本生成任务的强化学习训练，特别是针对智能代理的安全对齐微调。使用者可通过Harbor框架直接加载每个任务二元组，并利用其中包含的注入抵抗代理进行奖励计算。在训练过程中，模型需根据环境状态生成动作，代理根据是否执行了被注入的调用给出即时奖励信号。数据集托管于Hugging Face平台，采用Apache-2.0开源协议，便于研究者复现NVIDIA Nemotron-Post-Training-v3中的安全后训练方案。

背景与挑战

背景概述

在人工智能代理系统快速演进的时代，提示注入攻击已成为威胁大语言模型安全部署的关键隐患。为应对这一挑战，NVIDIA研究团队于近期发布了Nemotron-RL-Agentic-Indirect-Prompt-Injection-v1数据集，并由LAION社区将其转化为Harbor任务二进制格式，形成了nemotron-gym-agentic-indirect-prompt-injection数据集。该数据集涵盖1,272个任务样本，聚焦于代理系统在间接提示注入场景下的鲁棒性评估，通过单步注入抵抗代理奖励机制判断模型是否执行了恶意调用。作为Nemotron-Post-Training-v3系列的重要组成部分，该数据集为强化学习环境中的安全对齐研究提供了标准化基准，对推动可信赖人工智能代理的落地具有显著影响力。

当前挑战

该数据集所解决的核心领域挑战在于，大语言模型驱动的智能代理在接收用户或外部环境输入时，极易被隐蔽的提示注入攻击所操纵，从而执行非预期的高危操作。在数据集构建过程中，挑战主要体现为如何设计多样且真实的间接注入场景，确保任务二进制格式能够准确模拟攻击路径与防守策略。此外，构建单步注入抵抗代理评分机制时，需在奖励信号中精确区分模型是否抵御了注入攻击，避免因上下文混淆而产生误判。这些难题要求数据集在任务粒度、环境模拟及评价一致性上达到高度平衡，以支撑模型在安全关键应用中的可靠部署。

常用场景

经典使用场景

该数据集专为训练和评估智能体（Agent）对间接提示注入攻击的抵抗能力而设计，是构建鲁棒性语言模型的核心资源。在训练场景中，研究者通过将任务二元组（task binary）输入强化学习框架，引导模型在复杂指令环境中识别并规避恶意嵌入的非法调用指令。这种二元分类式的对抗训练范式，使模型在接收到包含潜在攻击的提示时，能够自主选择拒绝执行而非盲目遵从，从而塑造出具备安全防御意识的智能体行为。

实际应用

实际应用中，该数据集广泛服务于需要部署自主智能体的场景，如自动化客服、代码助手和智能工作流系统。开发人员利用这些对抗性样本检验智能体在接收不可信外部内容（如用户输入、网页文本或第三方API返回）时的反应。通过部署经过该数据集强化训练的模型，企业能够有效防止攻击者通过间接提示诱导智能体执行越权操作（如删除账户或篡改数据库），从而保障业务系统的运行安全与用户隐私不受侵犯。

衍生相关工作

该数据集衍生了若干里程碑式的工作，其中最核心的是NVIDIA发布的Nemotron-RL系列强化学习后训练框架。研究者基于这些任务二元组，开发了针对对抗性提示的梯度奖励模型，实现了对智能体注射抵抗能力的量化评估。此外，该数据集推动了Harbor任务框架的标准化，使得多机构能够基于统一格式构建和交换安全评测基准。这些工作共同催生了注重安全对齐的智能体训练范式，促进了“防御性AI代理”这一研究分支的快速发展。