WebHarbor
收藏资源简介:
WebHarbor数据集是一个用于存储WebHarbor环境套件中重型静态资源的仓库。WebHarbor项目旨在对接真实网站,为GUI智能体环境提供演进支持。数据集包含多个网站的资源,每个网站对应一个gzip压缩的tar归档文件(.tar.gz)。解压后,每个站点包还原代码仓库中`sites/<site>/`目录下的内容,主要包括:作为控制平面每次重置(/reset)时恢复的SQLite源数据文件(`instance_seed/<site>.db`)、静态图像文件夹(`static/images/`)以及可选的静态外部缓存文件夹(`static/external_cache/`)。数据集的使用与WebHarbor代码仓库紧密绑定,通过仓库提供的脚本(如`fetch_assets.sh`)可以自动下载并提取全部或指定站点的资源。数据集的资产版本通过代码仓库中的`.assets-revision`文件进行锁定,确保了代码提交与特定资产版本的可复现性。该数据集适用于构建和测试基于真实网站的GUI智能体环境,为智能体与网页交互的模拟或测试提供底层数据支持。
The WebHarbor dataset is a repository for storing heavy static resources within the WebHarbor environment suite. WebHarbor is a project designed to interface with real websites, providing evolutionary support for GUI agent environments. The dataset contains resources for multiple websites, each corresponding to a gzip-compressed tar archive file (.tar.gz). After extraction, each site package restores the contents under the `sites/<site>/` directory in the code repository, primarily including: a SQLite source data file (`instance_seed/<site>.db`) that is restored during each reset (/reset) of the control plane, a static images folder (`static/images/`), and an optional static external cache folder (`static/external_cache/`). The usage of the dataset is tightly coupled with the WebHarbor code repository, where scripts (such as `fetch_assets.sh`) can automatically download and extract resources for all or specified sites. The asset version of the dataset is locked via the `.assets-revision` file in the code repository, ensuring reproducibility of code commits with specific asset versions. This dataset is suitable for building and testing GUI agent environments based on real websites, providing underlying data support for simulating or testing agent interactions with web pages.
数据集名称
WebHarbor(⚓)
数据集简介
WebHarbor 是一个用于演化 GUI 代理环境的数据集,致力于为真实网站的 GUI 代理环境提供一个标准化的“停靠”平台。
数据集内容
- 数据集托管了 WebHarbor 环境套件的重型静态资源。
- 每个站点以单个 gzip 压缩的 tarball (
.tar.gz) 存储。 - 每个 tarball 包含:
instance_seed/<site>.db:SQLite 源数据文件,控制平面在每个/reset时恢复。static/images/:站点的静态图片资源。static/external_cache/:外部缓存资源(如适用)。
使用方式
- 通过 WebHarbor 代码仓库中的
scripts/fetch_assets.sh脚本自动下载并解压站点资源。 - 支持下载所有站点或单个站点(例如
google_search)。 - 资产版本与代码仓库的
.assets-revision文件绑定,确保可复现性。
贡献
欢迎贡献新站点或更新现有站点,详情请查看 贡献指南。
相关资源
| 资源 | 链接 |
|---|---|
| 🏠 WebHarbor 项目主页 | WebHarbor |
| 🤗 HuggingFace 数据集 | ChilleD/WebHarbor |
| 💻 WebHarbor GitHub | 代码仓库 |
| 📊 贡献追踪表 | Google Sheet |
| 📝 贡献请求表单 | Google Form |
引用
WebHarbor 由北卡罗来纳大学教堂山分校和微软发起,并得到更广泛社区的贡献。联系方式:webharborcomm at gmail dot com 或 zhaoyang at cs dot unc dot edu。
bibtex @misc{webharbor2026, title = {WebHarbor: Docking Real Websites for Evolving GUI Agent Environments}, author = {{WebHarbor Team and Contributors}}, year = {2026}, url = {https://aiming-lab.github.io/webharbor.github.io}, note = {Project website.} }





