prometheus-eval/k-browsecomp

K-BrowseComp是一个韩语版本的网络浏览智能体基准测试数据集，基于BrowseComp构建。该数据集专注于韩语语境，要求智能体在多个韩语网站中检索信息以回答问题。数据集包含三个子集：verified（主要基准，包含300个人工编写和验证的韩语浏览问题）、verified_with_metadata（包含相同300个问题及额外元数据，如预期推理轨迹、检查清单、韩语特定关键词和创建理由）和synthetic（包含100个由浏览智能体生成的诊断性压力测试问题，通过对抗性过滤处理）。每个数据项包括problem（问题）、answer（答案）、type（类型，如多跳或并行）和category（类别，如娱乐/媒体、教育/大学/考试）。数据集旨在评估智能体在韩语网络环境下的浏览和问答能力，适用于问答和强化学习任务。K-BrowseComp is a Korean version of the BrowseComp web-browsing agent benchmark. The dataset is grounded in Korean contexts and requires retrieving information across multiple Korean websites. It consists of three subsets: verified (the main benchmark with 300 human-written and validated Korean browsing problems), verified_with_metadata (the same 300 problems with additional metadata such as expected reasoning chains, checklists, Korean-specific keywords, and rationales), and synthetic (a diagnostic stress split of 100 problems generated by a browsing agent using adversarial filtering). Each item includes fields like problem (the question in Korean), answer (the gold short answer), type (e.g., multi-hop or parallel), and category (e.g., entertainment/media, education/university/exams). The dataset is designed to evaluate agents browsing and question-answering capabilities in Korean web environments, suitable for tasks like question-answering and reinforcement learning.

搜集汇总

数据集介绍

构建方式

K-BrowseComp作为韩语网络浏览智能体测评基准，其构建过程严谨而精细。数据集的300道验证题目全部由母语为韩语的研究人员手工撰写，每道题目均经过人工修订与有效性验证，确保内容契合韩国本土语境。此外，还包含一个由100道题目构成的合成子集，该子集通过浏览智能体基于人工设计的困难样例和针对失败模式的提示生成，并经过对抗性筛选以提升诊断能力。每个数据样本都包含问题、标准答案、问题类型（多跳或并行）以及主题类别字段，而带元数据的版本则额外提供了期望推理链、检核表、韩语特有关键词及设计理由等结构化注解信息。

使用方法

研究者可通过HuggingFace Datasets库便捷地加载该数据集，选择所需的配置项即可获取不同版本的测试样本。对于基础评估任务，推荐使用包含300题人工验证样本的'verified'配置项；若需深入分析智能体的推理路径，则可选择携带元数据的版本。数据集的使用遵循MIT开源许可协议，具体的评估流程与代码实现可参考其官方GitHub仓库，其中提供了从数据加载到模型评测的完整技术方案，方便研究者在韩语场景下开展网络浏览智能体的性能对比与能力诊断工作。

背景与挑战

背景概述

K-BrowseComp数据集由韩国研究团队于2025年发布，旨在构建韩语环境下的网络浏览智能体评估基准。该数据集源自英文版BrowseComp基准，通过系统化的跨文化适配，将核心问题锚定于韩国本土语境，要求智能体在多语种网络环境中完成复杂信息检索任务。其300道人工验证题目全部由母语为韩语的研究者精心设计并经过严格校验，涵盖多跳推理与并行信息整合两大核心能力。该数据集的出现弥补了非英语网络浏览评估资源的匮乏，为多语言智能体系统的鲁棒性研究提供了重要测试平台，推动了人工智能在跨文化、多语种场景下的应用探索。

当前挑战

K-BrowseComp所解决的领域挑战在于评估智能体在非英语、特别是韩语网络环境中的复杂信息检索与多步推理能力，这类任务依赖对韩语网站结构、文化背景及检索策略的深度理解。数据集构建过程中面临双重挑战：一是如何设计既具语言学价值又符合实际网络浏览需求的韩语问题，避免简单翻译英文原版；二是如何保证300道验证题目的质量一致性，包括多跳推理路径的合理性、答案唯一性以及文化特异性指标的清晰界定。此外，人工标注环节需要协调多名韩语母语者的判断标准，确保每道题目的预期推理链与检查清单涵盖关键中间实体，这对注释体系的设计与验证流程的严谨性提出了极高要求。

常用场景

经典使用场景

K-BrowseComp作为韩语领域首个聚焦于多网站信息检索的智能体测评基准，其核心用途在于评估语言模型在真实韩语网络环境中执行复杂浏览任务的能力。该数据集包含300道由韩语母语者精心撰写并核验的题目，涵盖多跳推理（multi-hop）与并行检索（parallel）两种经典范式，要求模型在多个韩国本土网站间提取、整合并推理出精确答案，从而为韩语网络智能体研究提供标准化的能力度量尺度。

解决学术问题

该数据集直面当前大语言模型在非英语互联网环境中存在的检索漏洞与推理短板，系统性地解决了两个学术难题：一是缺乏高质量、具有韩国文化语境特色的浏览型测评资源；二是现有基准难以区分模型在简单信息拼凑与复杂多步推理之间的性能差异。K-BrowseComp通过精细的任务分类与人工验证流程，为研究者提供了评估模型跨网站信息整合能力、韩国本土知识理解深度及应对歧义查询鲁棒性的可信工具，有力推动了多语言智能体评估体系的本土化进程。

实际应用

在实际应用中，K-BrowseComp可直接赋能韩语在线服务场景中的智能问答系统，例如旅游资讯整合、法律政策查询、学术文献检索等需跨来源核实的任务。基于该数据集训练的浏览代理能够更精准地理解韩语用户的复杂查询意图，自动完成从韩国政府网站、新闻门户、教育平台等多站点收集信息并生成结构化答案的流程，显著提升韩国本土电商客服、智慧政务及知识管理系统的自动化水平与用户体验。

数据集最近研究

最新研究方向

K-BrowseComp作为韩语版本的BrowseComp基准测试，近期研究聚焦于评估大语言模型在复杂、多步骤网络浏览任务中的跨语言与跨文化推理能力。该数据集由母语者精心构建的300道验证题目构成，核心挑战在于要求智能体在韩语网站间进行多跳或并行信息检索，并忠实追溯推理链。前沿方向包括利用该基准检验模型在非英语环境下的规划、记忆与源溯源能力，尤其关注其在处理文化特异性知识时的表现。随着Web Agent技术向全球化应用演进，K-BrowseComp的推出不仅填补了韩语评估资源的空白，更有助于揭示语言模型在真实世界浏览场景中的泛化局限性，推动更鲁棒、文化自适应的智能体系统研发。