convergence-ai/WebVoyager2025Valid

WebVoyager 2025 Valid是一个修改版的WebVoyager子集，设计上有效期至2025年12月20日。该数据集被用于对proxy-lite模型进行基准测试。

WebVoyager 2025 Valid is a modified subset of WebVoyager designed to be valid until 20th December 2025. It was used to benchmark the proxy-lite model.

搜集汇总

数据集介绍

构建方式

WebVoyager2025Valid数据集是在原始WebVoyager基准测试集基础上精心筛选与改造而成的子集。其构建核心在于确保所有任务链接在2025年12月20日之前均保持有效，从而为长期评估提供稳定的测试环境。该数据集由Convergence AI团队维护，并已用于proxy-lite模型的性能基准测试。

使用方法

用户可直接通过HuggingFace平台加载该数据集，用于评估代理模型在真实网页交互任务中的表现。推荐结合proxy-lite等轻量级模型进行基准测试，以衡量模型在受限环境下的导航效率与任务完成度。数据集提供标准化任务格式，便于与原始WebVoyager任务集进行对比分析。

背景与挑战

背景概述

随着大型语言模型在自主网页交互任务中的广泛应用，如何系统评估其完成真实世界操作的能力成为关键挑战。WebVoyager数据集由研究团队于2024年发布，旨在构建一个涵盖多领域网页任务的标准化测试平台，其核心研究问题聚焦于模型在动态网页环境中的指令遵循与目标达成能力。该数据集聚类了购物、信息检索、表单填写等典型场景，对推动智能体在开放互联网中的实用化进程产生了重要影响，成为衡量模型网页操作技能的重要基准之一。

当前挑战

当前数据集面临的主要挑战包括：其一，网页环境的动态性导致任务时效性受限，链接失效、页面结构更新或服务变更会直接影响评测的可重复性；其二，原始任务设计依赖特定时间点的网页快照，难以保证长期有效性。构建过程中，需逐一验证每项任务在目标时间窗口内的可执行性，并剔除或调整因网站改版而失效的样本，这一过程不仅耗费大量人工审核资源，还可能因网站服务条款限制而面临法律与伦理风险。

常用场景

经典使用场景

WebVoyager2025Valid数据集在智能体与网页交互的研究领域中扮演着关键角色，其经典使用场景聚焦于评估和训练基于大语言模型的网络浏览代理。该数据集精心筛选并调整了原始WebVoyager中的任务，确保所有任务在2025年12月20日前均保持有效，从而为研究者提供了一个时效性强、可重复性高的基准测试平台。通过模拟真实世界中的网页导航、信息检索和表单填写等复杂操作，该数据集能够有效检验代理在动态网络环境中的规划能力、决策准确性以及长期任务执行效能。

解决学术问题

该数据集的核心学术贡献在于解决了网络代理评估中普遍存在的时效性偏差和任务失效问题。传统基准测试常因网页内容更新或链接失效而导致结果不可复现，而WebVoyager2025Valid通过设定明确的有效期窗口，确保了实验条件的一致性。这为研究代理的泛化能力、鲁棒性以及跨时间稳定性提供了可靠基础，推动了智能体在开放式网络任务中的学术探索，尤其是在持续学习与动态环境适应等前沿方向上具有深远意义。

实际应用

在实际应用层面，该数据集为构建自动化网络助手提供了关键验证工具。例如，在客户服务、在线购物、信息聚合等场景中，基于该数据集训练的代理能够自主完成预订、查询和提交等任务，显著提升人机协作效率。此外，其时效性设计使其特别适用于需要实时数据交互的工业级应用，如金融数据爬取或动态市场分析，从而为商业智能和自动化工作流的落地提供了可靠支持。

数据集最近研究

最新研究方向

WebVoyager2025Valid数据集聚焦于网络智能体在真实网页环境中的长期任务执行能力验证，其核心研究方向在于构建时效性更强、任务复杂度更高的基准测试框架。当前前沿动态显示，该数据集被用于评估轻量级代理模型（如proxy-lite-3b）在动态网页交互中的鲁棒性与泛化性能，尤其关注2025年12月前有效的时间窗口内，模型对网页元素变化、异步加载及跨域操作的适应能力。这一工作与近期智能体自主导航、实时决策等热点事件紧密关联，通过标准化任务集推动网络自动化技术的可信度与实用性研究，对开发更高效、低延迟的网页交互智能体具有重要标杆意义。