TURKINGBENCH

TURKINGBENCH是一个针对网页代理的挑战性基准数据集，由约翰斯霍普金斯大学等机构创建。该数据集包含158个任务，总计32.2K实例，使用真实的HTML网页作为任务载体，这些网页最初是为众包工作者设计的。数据集不仅包含文本信息，还融合了图像、视频等多种模态，旨在评估多模态模型在复杂网页交互中的泛化能力。TURKINGBENCH通过其独特的评估框架，允许模型与网页进行交互，如修改文本框、选择单选按钮等，从而推动网页代理的评估与发展。