K-BROWSECOMP

K-BROWSECOMP是由韩国多所顶尖学术机构与科技企业联合构建的韩语语境网络浏览智能体基准数据集，旨在填补韩语智能体评估领域的空白。该数据集共计包含400个复杂问题，其中300个为人工精心构建并经过母语者验证的K-BROWSECOMP-VERIFIED子集，涵盖娱乐媒体、地理区域、教育考试等十大类别，问题设计依赖于公开的网络文本证据，并包含多跳推理与并行约束两种推理模式。数据集的创建过程严格遵循三项标注准则，确保问题扎根于韩国本土文化背景、答案唯一且证据可公开追溯，并创新性地利用失败模式分类与少量示例引导大型语言模型生成了100个具有诊断性的合成问题。本数据集主要应用于评估和提升大型语言模型在韩语环境下的网络浏览代理能力，旨在解决模型在检索韩国本地化信息、处理复杂网页结构及跨源信息合成等方面的关键瓶颈，以推动面向韩国用户的定制化智能体发展。K-BROWSECOMP is a Korean contextual web browsing agent benchmark dataset jointly developed by multiple top-tier South Korean academic institutions and technology enterprises, aiming to fill the critical gap in the field of Korean-language intelligent agent evaluation. This dataset comprises a total of 400 complex questions, among which 300 constitute the K-BROWSECOMP-VERIFIED subset. These 300 questions are manually curated and verified by native Korean speakers, covering ten major categories such as entertainment media, geographical regions, and educational examinations. The design of these questions relies on publicly available web textual evidence, and incorporates two reasoning paradigms: multi-hop reasoning and parallel constraints. The dataset construction process strictly adheres to three annotation principles, ensuring that all questions are grounded in South Korea's local cultural context, have unique answers, and their supporting evidence is publicly traceable. Additionally, it innovatively leverages failure mode classification and few-shot examples to guide large language models (LLMs) in generating 100 diagnostic synthetic questions. This dataset is primarily designed to evaluate and enhance the web browsing agent capabilities of large language models within the Korean-language context, targeting key bottlenecks faced by such models when retrieving South Korean localized information, processing complex web page structures, and synthesizing cross-source information, with the goal of advancing the development of customized intelligent agents tailored for South Korean users.

原始信息汇总

数据集概述：K-BrowseComp

K-BrowseComp 是一个针对韩语网络浏览代理（web-browsing agent）的基准测试，旨在评估代理从韩语网站检索难以获取的公开信息、追踪多跳或多路径证据，并返回基于韩语语境的单一简短答案的能力。

论文地址：https://arxiv.org/abs/2606.02404
数据集地址：https://huggingface.co/datasets/prometheus-eval/k-browsecomp

数据集规模与构成

• 总共包含 400 道题目，分为两个子集：
  • K-BrowseComp-Verified：300 道由母语为韩语的人员手动编写并验证的题目。
  • K-BrowseComp-Synthetic：100 道机器生成的诊断性题目，使用少量高难度示例和针对失败模式的生成策略创建（生成流程见 automated_data_gen/ 目录）。

题目设计特点

• 每个验证过的题目均设计为需要 多跳推理 或 并行分支约束满足，涉及韩语公开网络证据。
• 数据集提供以下内容，支持除最终答案评分外的轨迹诊断：
  • 问题（problem）
  • 标准答案（gold answer）
  • 预期轨迹（expected trajectory）
  • 源 URL（source URLs）
  • 关键中间证据的检查清单值（checklist values）

模型表现

• 在实验中，即使表现最强的模型在 K-BrowseComp-Verified 上的准确率也低于 50%，在 Synthetic 子集上仅达到 26%。

评估框架与代码

• 该仓库改编自 perplexityai/search_evals，提供评估和自动化问题生成代码。
• 默认情况下，评估时会从 prometheus-eval/k-browsecomp 下载数据集，仓库中也包含备用本地 JSONL 副本：
  • search_evals/datasets/ko_browsecomp.jsonl（验证集）
  • search_evals/datasets/ko_browsecomp_synthetic.jsonl（合成集）

许可与归属

• 除特别注明外，本仓库采用 MIT 许可协议（详见 LICENSE）。
• 评估框架改编自 perplexityai/search_evals，同样采用 MIT 许可协议。

环境设置与使用

• 使用 uv 管理 Python 依赖：uv sync
• 提供 Colab 快速启动笔记本：https://colab.research.google.com/github/prometheus-eval/K-BrowseComp/blob/main/examples/k_browsecomp_colab.ipynb
• 运行评估需要配置相应的 API 密钥（支持 Perplexity、Brave、Exa、Tavily 等搜索引擎，以及 GPT、Gemini、Claude、OpenRouter 等模型）。

搜集汇总

数据集介绍

构建方式

K-BROWSECOMP的构建过程精细而严谨，旨在打造一个根植于韩国语境的网络浏览智能体评测基准。该数据集总计包含400道题目，其中核心子集K-BROWSECOMP-VERIFIED由300道人工构建的题目组成，所有题目均由母语为韩语的研究人员依据严格准则手工编写，并经过多轮校验以确保答案的唯一性、时间稳定性及证据的可追溯性。为突破人工构建的成本瓶颈，研究团队创新性地利用网络浏览智能体生成剩余100道合成题目，通过引入失败模式导向的生成策略与硬样本少样本提示，结合搜索性、良好构造性与对抗性难度三重过滤机制，确保了合成题目的高质量与挑战性。

特点

该数据集具有鲜明的特性与深厚的学术价值。首先，其深度植根于韩国本土语境，涵盖娱乐、交通、教育、体育等多元领域，要求智能体具备检索韩国本地网站、解析非结构化页面及处理文化特定线索的能力，远超简单的语言翻译。其次，题目设计巧妙融合了并行分支与多跳推理两种复杂推理格式，要求智能体至少经过四步推理或满足四项独立约束，模拟了真实世界中搜寻难以直接检索信息的复杂过程。此外，该数据集的难度极高，在VERIFIED子集上，顶尖前沿模型准确率仅达30%至45%，而韩国本土大模型表现更为逊色，准确率仅在0%至10%之间，充分暴露了当前模型在韩国化网络浏览任务上的巨大局限。

使用方法

使用K-BROWSECOMP进行模型评估时，研究者可遵循一套标准化的流程以获取可靠的性能指标。首先，需搭建基于搜索智能体的评测框架（如search_evals），并配置统一的搜索引擎后端与搜索调用预算（如每道题10次搜索）。模型需针对每个题目，通过一系列工具调用（如网络搜索）与环境交互，最终给出答案。随后，通过大语言模型（如GPT-5.4-mini）从模型输出中提取最终答案，并与人工标注的标准答案进行精确匹配，以此计算首次命中准确率。需要注意的是，合成子集应作为独立的诊断性压力测试使用，其得分不与人工验证子集的分数混合报告，以提供更细致的失败模式分析。

背景与挑战

背景概述

K-BROWSECOMP是由韩国研究团队于2026年构建的韩语网络浏览智能体基准数据集，旨在弥补韩国在智能体评估领域的空白。随着前沿模型评估从基础能力转向复合型智能体能力，韩国社区却仍依赖静态基准，缺乏衡量智能体在韩语语境下表现的标准。该数据集由400个问题组成，其中300个为人工构建并经过母语者验证，聚焦于网络浏览智能体对韩国本地化知识与文化语境的依赖。研究表明，即便是最先进的模型在K-BROWSECOMP上表现也大幅下降，而韩国本土模型更是远低于全球模型，凸显了该数据集对于推动韩语智能体发展的重要影响力。

当前挑战

K-BROWSECOMP所解决的领域问题在于评估网络浏览智能体在韩语语境下的复合能力，模型需在多个韩国网站间进行多跳推理或并行约束满足，这对智能体的指令遵循、工具调用和长程状态维护构成了严峻挑战。在构建过程中，主要挑战包括确保问题具有唯一且时间稳定的答案，并基于公开网络证据验证中间实体与引用来源的可恢复性。此外，模型暴露了多种失败模式，如检索后无法维护候选集、约束跟踪失效和跨源链接丢失，表明性能瓶颈不仅在于检索广度，更在于多轮交互中的状态持久化能力，这些问题对后续模型优化提出了明确方向。

常用场景

经典使用场景

在韩语语言模型与智能体评估领域，K-BROWSECOMP被广泛用于衡量网页浏览智能体在韩语语境下的综合信息检索与推理能力。该数据集设计了涵盖娱乐传媒、交通地理、教育考试等十大类别的400道问题，其中300道经过母语者人工验证，要求模型通过多跳推理或并行约束满足的方式从韩国本土网站中提取信息。其经典用途在于评估前沿模型在执行复杂、长程的网页搜索任务时，是否能够有效利用韩语特有的搜索习惯、当地实体以及半结构化的网页结构，从而填补了韩语智能体基准测试的空白。

实际应用

在实际应用层面，K-BROWSECOMP直接服务于韩语智能搜索助手与地域化AI代理的开发与优化。基于该数据集的评测结果，开发者可以精准识别模型在处理韩国本地文化知识、浏览半结构化网页（如韩语电商、学术数据库、政府公告）时的薄弱环节。例如，在构建面向韩国用户的智能客服、旅游信息检索或教育辅助系统时，该数据集可帮助筛选出能够稳定追踪候选集、约束条件与角色绑定的模型，从而推动更可靠的韩语网页浏览代理的实际落地。这使得数据集成为连接韩国AI主权需求与智能体技术迭代的重要桥梁。

衍生相关工作

K-BROWSECOMP的发布催生了一系列相关学术探索。一方面，其构建方法论启发了基于失败模式的目标性合成数据生成技术，研究者利用该数据集提炼的八类失败模式，指导大语言模型自动生成更具挑战性的诊断问题，有效扩展了评估数据的规模与难度。另一方面，该数据集推动了韩语智能体基准的多模态与多领域延伸，后续工作借鉴其轨迹级诊断框架，探索了在韩国本土电商、医疗健康等垂直场景中的智能体评估。此外，该数据集还促进了关于模型在长程推理中状态维持能力的研究，衍生出关于候选集管理、约束追踪与角色绑定机制改进的经典工作。