drift-agentdojo-slim

DRIFT AgentDojo Slim Docker Release 是一个用于运行 AgentDojo 评测任务的容器化发布包。它包含两个主要版本：CUDA 12 兼容版，由 vLLM 推理服务镜像（基于 CUDA 12.4、PyTorch 2.5.1）和 DRIFT + AgentDojo 客户端镜像组成，支持 Docker 和 nerdctl/containerd；以及原始 CUDA 13 一体化版。发布包提供自动检查、导入、启动、等待服务并运行评测的脚本（run-compatible.sh 或 run.sh），以及中文完整说明（QUICKSTART.md）和校验文件（checksums.sha256）。用户需自行提供模型权重（如 Llama-3.3-70B-Instruct），并确保宿主 NVIDIA 驱动兼容。该发布包适用于在支持 CUDA 的 GPU 环境中部署和运行 AgentDojo 安全评测基准。DRIFT AgentDojo Slim Docker Release is a containerized release package for running AgentDojo evaluation tasks. It includes two main versions: a CUDA 12 compatible version consisting of a vLLM inference service image (based on CUDA 12.4, PyTorch 2.5.1) and a DRIFT + AgentDojo client image, supporting Docker and nerdctl/containerd; and a raw CUDA 13 all-in-one version. The package provides scripts for automatic checking, importing, starting, waiting for services, and running evaluations (run-compatible.sh or run.sh), along with a full Chinese guide (QUICKSTART.md) and checksum files (checksums.sha256). Users need to provide their own model weights (e.g., Llama-3.3-70B-Instruct) and ensure compatibility with the host NVIDIA driver. This release is suitable for deploying and running the AgentDojo security evaluation benchmark in CUDA-capable GPU environments.

原始信息汇总

DRIFT AgentDojo Slim Docker Release 数据集概述

基本信息

• 数据集名称：DRIFT AgentDojo Slim Docker Release
• 许可证：other
• 数据集类型：Docker 容器发布包（可迁移容器），不包含模型权重

版本与组成

1. 推荐版本：CUDA 12 兼容版

该版本将推理服务与评测客户端拆分为两个独立镜像，支持 Docker 和 nerdctl/containerd，包含以下组件：

组件	说明
drift-agentdojo-vllm-cu12.tar	官方 vLLM 0.6.6.post1，PyTorch 2.5.1，CUDA 12.4
drift-agentdojo-client.tar	DRIFT + AgentDojo 客户端
run-compatible.sh	自动化脚本（检查、导入、启动、等待服务、运行评测）
QUICKSTART.md	中文完整说明文档
checksums.sha256	下载完整性校验文件

环境要求：

• 最低宿主 NVIDIA 驱动版本：525.60.13
• 容器内部 CUDA 版本与宿主驱动显示版本可不同（容器自带 CUDA 用户态库）

2. 原始版本：CUDA 13 一体化版

• 文件：drift-agentdojo-slim.tar
• 要求：NVIDIA 驱动 580 或更高
• 启动方式：使用 run.sh

已验证范围

在 4 × NVIDIA RTX A6000、驱动 580.173.02 环境下验证：

• 容器内 CUDA 可用并完成真实张量计算
• vLLM CUDA 12.4 成功加载真实 TinyLlama checkpoint
• /v1/models 和 /v1/completions 接口返回有效结果
• DRIFT/AgentDojo 客户端可连接服务并完成补全请求
• run-compatible.sh 通过 Docker 和 nerdctl 2.3.5 + containerd 2.3.3 完整预检

运行要求（正式 LLM）

• 需自行提供 gated 权重（Llama-3.3-70B-Instruct，约 131 GiB）
• 总显存需求：约 150 GiB
• 详细说明见 QUICKSTART.md

使用方式示例

bash hf download Jinming2002/drift-agentdojo-slim drift-agentdojo-vllm-cu12.tar drift-agentdojo-client.tar run-compatible.sh QUICKSTART.md checksums.sha256 --repo-type dataset --local-dir . sha256sum -c checksums.sha256 --ignore-missing chmod +x run-compatible.sh WEIGHTS=/path/to/Llama-3.3-70B-Instruct ./run-compatible.sh

上游项目

• vLLM：https://github.com/vllm-project/vllm
• AgentDojo：https://github.com/ethz-spylab/agentdojo

搜集汇总

数据集介绍

构建方式

DRIFT AgentDojo Slim Docker Release 数据集以可迁移容器的形式构建，融合了 DRIFT 与 AgentDojo 两大框架，将推理服务与评测客户端分离为独立镜像。其兼容版基于 CUDA 12 环境，采用官方 vLLM 0.6.6.post1 与 PyTorch 2.5.1，并整合了自动化的运行脚本与完整性校验文件，以模块化、封装化的理念精心打造，确保了部署的便捷性与可复现性。

使用方法

用户可通过 Hugging Face Hub 下载所需的 tar 包与脚本，利用 sha256 校验保证数据完整性。执行过程中，需指定模型权重路径，并可选择预检模式进行环境检查。支持通过环境变量切换容器运行时（如 nerdctl），并灵活适配不同命名空间。标准流程为运行 run-compatible.sh 脚本，其将自动完成镜像导入、服务启动、健康检查及最终评测，如此简化了复杂部署步骤，使得非专业运维人员也能高效开展实验。

背景与挑战

背景概述

DRIFT AgentDojo Slim Docker Release 数据集于2025年发布，由 Jinming2002 等研究人员构建，旨在为大型语言模型（LLM）智能体的安全评估提供可迁移的容器化评测环境。该数据集整合了 DRIFT 与 AgentDojo 两大框架，AgentDojo 源自苏黎世联邦理工学院安全隐私实验室，专注于智能体在工具调用场景下的越狱与提示注入攻击测试。核心研究问题在于，如何通过标准化、可复现的部署方案，降低 LLM 智能体安全评估的实验门槛，推动该领域从静态数据集评测向动态环境模拟的转变。该发布包针对不同硬件环境提供 CUDA 12 兼容版与 CUDA 13 一体化版，已在多卡 GPU 环境验证，对智能体安全研究的基础设施建设具有重要影响。

当前挑战

该数据集面临的挑战多维且分层。在领域问题层面，LLM 智能体的安全评估长期受限于真实性与可复现性的矛盾：静态基准难以覆盖动态工具的交互风险，而真实环境搭建复杂且成本高昂。AgentDojo 框架虽可模拟工具调用攻击，但现有 CPU 密集型评测难以扩展至大规模模型，亟需高效推理加速方案。在构建过程中，挑战集中于生态兼容与资源门槛：需同时适配 vLLM、PyTorch 与不同 CUDA 驱动版本，确保容器在 Docker 与 nerdctl 等运行时下的可移植性；同时，模型权重需 gated 权限且占用约 131 GiB 存储，推理需约 150 GiB 显存，这对研究者的硬件配置与数据合规提出苛刻要求，可能限制其在资源受限机构中的广泛应用。

常用场景

经典使用场景

DRIFT AgentDojo Slim 数据集作为一个可迁移的容器化评测环境，专为大型语言模型（LLM）在现实世界智能体任务中的鲁棒性与安全性评估而设计。其经典使用场景是，在无需配置复杂依赖的前提下，通过 Docker 或 nerdctl/containerd 快速部署 vLLM 推理服务与 AgentDojo 客户端，从而对候选模型（如 Llama-3.3-70B-Instruct）进行端到端的交互式测试。研究者可借助该容器镜像，复现 AgentDojo 基准中的各类攻击与防护场景，评估模型在工具调用、多轮对话中的决策稳健性。该数据集尤其适用于需要标准化环境、可重复实验的学术研究，以及需要离线部署的敏感领域应用，确保了评测流程的一致性与可移植性。

解决学术问题

该数据集解决了学术界在智能体安全评测中面临的环境碎片化与不可复现问题。传统的智能体安全研究常因依赖冲突、硬件差异或部署复杂度，导致实验结果难以横向对比。DRIFT AgentDojo Slim 通过提供预配置的容器化方案，统一了推理服务（vLLM）与评测客户端（AgentDojo）的运行环境，显著降低了复现门槛。这使得研究者能够专注于核心科学问题——即 LLM 智能体在对抗性扰动下的鲁棒性、安全性与可控性，而无需耗费精力处理软件栈细节。其意义在于促进了智能体安全领域的可重复研究，为后续理论突破和实证比较奠定了坚实基础，同时通过支持多种容器运行时，拓宽了实验的可及性。

实际应用

该数据集的实际应用场景集中于需要对 LLM 智能体进行安全部署与可靠性验证的工业和商业环境。例如，在金融、医疗或企业自动化系统中，智能体常被赋予调用外部工具或访问敏感数据的权限，此时其抵御提示注入和越狱攻击的能力至关重要。DRIFT AgentDojo Slim 允许开发团队在本地或隔离网络中，以符合数据合规要求的方式，对模型进行压力测试和防御能力评估。其容器化设计便于集成至 CI/CD 流水线，实现持续的安全监控。已验证的硬件兼容性（如 A6000 系列 GPU）使其可适配主流算力平台，而 nerdctl 支持则满足了无 Docker 依赖的轻量级部署需求，加速了智能体从实验到生产的过渡。

数据集最近研究

最新研究方向

当前，随着大语言模型智能体（LLM Agent）在复杂任务中的广泛应用，其安全性与可靠性成为研究焦点。DRIFT AgentDojo Slim Docker Release 作为集成 DRIFT 与 AgentDojo 的可迁移容器化评测方案，代表了该领域向标准化、轻量化部署迈进的前沿趋势。该数据集镜像通过兼容 CUDA 12 与 13 的双轨设计，显著降低了多 GPU 环境下模型推理服务的部署门槛，尤其针对 Llama-3.3-70B 等大规模模型的安全评测提供了高效、可控的实测环境。其强调的容器内真实张量计算验证及对 nerdctl/containerd 运行时支持，反映了社区对跨平台可复现性、可移植性的迫切需求，对推动 AI 智能体安全评估的规范化、规模化应用具有重要实践意义。