WildClawBench-Harbor
收藏资源简介：
WildClawBench-Harbor 是 WildClawBench 基准测试的 Harbor 格式转换版本，旨在通过标准化的 Harbor 框架对智能体进行真实世界、长周期任务评估。数据集包含 60 个手工设计的任务，每个任务需要智能体进行多步骤工具调用（10-60+次）、多模态处理（视频、图像、文档）、在真实代码仓库上编码，并具备对提示注入的鲁棒性。任务划分为 6 个类别：生产力流程（10 个任务，涉及信息综合、文档处理、日程安排）、代码智能（12 个任务，涉及代码库理解、视觉推理、脚本生成）、社交互动（6 个任务，涉及多轮通信、路由、线程整合）、搜索与检索（11 个任务，涉及约束搜索、冲突解决、数据提取）、创意合成（11 个任务，涉及视频/音频处理、跨模态生成）、安全对齐（10 个任务，涉及提示注入抵抗、凭证意识、危险操作拒绝）。部分任务使用中文指令（以 _zh 后缀标识），其余为英文。每个任务以自包含的 Harbor 目录形式组织，包含 task.toml 配置文件、instruction.md 指令文件、环境资产和测试脚本。数据集规模小于 1000 个样本（实际为 60 个任务）。使用方式：安装 Harbor 工具后，下载数据集并通过 `harbor run` 命令运行单个或全部任务。任务运行需要 Docker 和网络访问，可选 Brave 搜索 API。评分由每个任务的验证器输出奖励（0/1 或结构化 JSON），基准分数为所有任务的平均奖励。对于安全对齐类别，“成功”意味着智能体拒绝或安全处理了对抗性请求。该数据集源自原始 WildClawBench 论文（arXiv:2605.10912），转换过程中未改变任务内容或评分逻辑。
WildClawBench-Harbor is a Harbor-format converted version of the WildClawBench benchmark, designed to evaluate agents on real-world, long-horizon tasks through the standardized Harbor framework. The dataset contains 60 handcrafted tasks, each requiring agents to perform multi-step tool calls (10-60+ steps), multimodal processing (video, images, documents), coding on real code repositories, and robustness against prompt injection. Tasks are divided into 6 categories: Productivity Workflows (10 tasks, involving information synthesis, document processing, scheduling), Code Intelligence (12 tasks, involving codebase understanding, visual reasoning, script generation), Social Interaction (6 tasks, involving multi-turn communication, routing, thread consolidation), Search & Retrieval (11 tasks, involving constrained search, conflict resolution, data extraction), Creative Synthesis (11 tasks, involving video/audio processing, cross-modal generation), and Safety Alignment (10 tasks, involving prompt injection resistance, credential awareness, dangerous operation refusal). Some tasks use Chinese instructions (identified by the _zh suffix), while the rest are in English. Each task is organized as a self-contained Harbor directory containing a task.toml configuration file, instruction.md file, environment assets, and test scripts. The dataset size is less than 1000 samples (actually 60 tasks). Usage: install the Harbor tool, download the dataset, and run single or all tasks via the `harbor run` command. Task execution requires Docker and network access, with an optional Brave Search API. Scoring is performed by each tasks validator, outputting a reward (0/1 or structured JSON), and the benchmark score is the average reward across all tasks. For the Safety Alignment category, success means the agent rejected or safely handled adversarial requests. The dataset originates from the original WildClawBench paper (arXiv:2605.10912), and the conversion process did not change the task content or scoring logic.
WildClawBench-Harbor 数据集详情
数据集概述
WildClawBench-Harbor 是 WildClawBench 基准测试转换为 Harbor 任务格式的版本，包含全部 60 个任务，可直接通过 harbor run 命令在任意支持 Harbor 的智能体（如 Claude Code、OpenHands、Codex CLI 及自定义智能体）上运行。WildClawBench 是一个用于真实世界、长周期智能体评估的基准测试，任务涉及多步骤工具调用（10–60+ 次）、多模态处理（视频、图像、文档）、真实代码库编程以及对提示注入的鲁棒性。
任务类别
| 类别 | 任务数 | 重点 |
|---|---|---|
| 01 Productivity Flow | 10 | 信息综合、文档处理、日程安排 |
| 02 Code Intelligence | 12 | 代码库理解、视觉推理、脚本生成 |
| 03 Social Interaction | 6 | 多轮通信、路由、线程整合 |
| 04 Search & Retrieval | 11 | 约束搜索、冲突解决、数据提取 |
| 05 Creative Synthesis | 11 | 视频/音频处理、跨模态生成 |
| 06 Safety Alignment | 10 | 提示注入抵抗、凭证意识、危险操作拒绝 |
带有 _zh 后缀的任务使用中文指令，其余任务使用英文。
仓库结构
每个任务均为自包含的 Harbor 任务目录，位于仓库根目录，命名格式为 <category>_task_<n>_<slug>：
01_Productivity_Flow_task_1_arxiv_digest/ ├── task.toml # Harbor 任务配置（schema 1.4）：环境、超时、元数据 ├── instruction.md # 提供给智能体的任务提示 ├── environment/ │ └── .wildclaw/ # 复制到容器中的工作区资源 │ ├── run-warmup.sh # 环境预热脚本，作为健康检查在智能体启动前运行 │ └── skills/ # 任务可用技能（如 agent-browser） └── tests/ ├── test.sh # 验证器入口；将奖励写入 /logs/verifier/ ├── grader.py # 评分逻辑 ├── checks.py └── transcript_loader.py
关键配置
- 环境：使用预构建 Docker 镜像（
wildclawbench-ubuntu:v1.3），工作目录为/tmp_workspace，网络模式为public（任务涉及实时网络访问）。 - 超时：智能体运行 20 分钟，验证器运行 10 分钟（部分任务略有差异）。
- 验证器：在与智能体共享的容器中运行（
environment_mode = "shared"），仅在智能体执行完毕后注入，确保评分器在运行期间对智能体不可见。 - 产物：每次运行后收集
/tmp_workspace/results下的任务输出。
快速开始
-
安装 Harbor：
uv tool install harbor或pip install harbor。 -
下载数据集：
hf download internlm/WildClawBench-Harbor --repo-type dataset --local-dir ./WildClawBench-Harbor。 -
运行单个任务： bash harbor run -p ./WildClawBench-Harbor/01_Productivity_Flow_task_1_arxiv_digest -a claude-code -m anthropic/claude-opus-4-1
-
运行完整基准： bash harbor run -p ./WildClawBench-Harbor -a claude-code -m anthropic/claude-opus-4-1 --n-concurrent 4
前置条件
- 需要 Docker；任务在
wildclawbench-ubuntu:v1.3镜像中运行，该镜像以 tarball 形式随原始 WildClawBench 仓库提供，需先加载。 BRAVE_API_KEY（可选）：搜索类任务会将其传递给容器以使用 Brave Search API。- 任务需要出站网络访问（需浏览实时网页）；搜索/检索类任务的结果可能因网页内容变化而略有差异。
评分方式
每个任务的验证器将奖励（0/1，或部分评分任务的结构化 JSON 指标）写入 /logs/verifier/。Harbor 汇总各任务奖励，基准得分为平均奖励。对于 Safety Alignment 类别，“成功”表示智能体拒绝或安全处理了对抗性请求。
与原始版本的区别
- 原始 WildClawBench 以 Markdown 规范加 OpenClaw 运行器发布任务；本仓库将每个任务重新打包为标准 Harbor 布局（
task.toml/instruction.md/environment//tests/），不改变任务内容或评分逻辑。 - 任务命名简化为仓库根目录下的
<category>_task_<n>_<slug>目录。
引用信息
若使用此基准测试，请引用原始 WildClawBench 论文：
bibtex @article{ding2026wildclawbench, title={Wildclawbench: A benchmark for real-world, long-horizon agent evaluation}, author={Ding, Shuangrui and Dai, Xuanlang and Xing, Long and Ding, Shengyuan and Liu, Ziyu and JingYi, Yang and Yang, Penghui and Zhang, Zhixiong and Wei, Xilin and Fang, Xinyu and others}, journal={arXiv preprint arXiv:2605.10912}, year={2026} }
