ASQ: Agentic Search Queryset

一个捕捉RAG代理搜索行为的数据集。

A dataset that captures the search behaviors of RAG agents.

原始信息汇总

ASQ: Agentic Search Queryset 数据集概述

数据集简介

ASQ（Agentic Search Queryset）是一个用于捕获RAG（检索增强生成）代理搜索行为的数据集。该数据集旨在支持对智能体搜索行为的研究。

数据集内容与结构

数据集以分层目录结构存储轨迹（traces），便于筛选。目录路径为 traces/{dataset}/{retriever_config}/{agent_family}/{model}/，其中包含以下配置维度：

• dataset：查询集内部标识符或IRDS标识符（例如 "hotpotqa-test"）。
• retriever_config：检索管道配置（例如 "BM25_k1000_electra_k3"）。
• agent_family：支持的智能体系列之一（例如 "search_r1"）。
• model：agent_family 支持的生成器之一（例如 "Qwen-7B"）。

轨迹包含以下构件（artifacts），可通过专用加载函数访问：

• 答案（Answers）
• 迭代查询（Iterative Queries）
• 检索到的文档（Retrieved Docs）
• 思考过程（Thoughts）

数据生成与访问

生成数据集

数据集可通过提供的工具和代码框架进行构建。核心步骤包括：

1. 设置智能体（支持 search_r1 和 autorefine 系列）。
2. 准备源有机查询集（支持IRDS数据集或自定义DataFrame）。
3. 执行智能体运行以收集轨迹。
4. 使用提取管道将原始输出持久化为TSV格式构件。

访问预计算数据

预计算的轨迹可从Hugging Face Datasets获取：https://huggingface.co/datasets/AgenticSearchQueryset/ASQ。

加载数据

提供 TraceCollection 类用于加载完整的轨迹集合，也支持通过 load_answers、load_iter_queries、load_retrieved_docs 等函数单独加载各个构件。

支持模型

当前支持的智能体系列及其生成器如下：

智能体系列	支持的生成器	备注
search_r1	Qwen-3B, Qwen-7B, Qwen-14B	原始论文：https://arxiv.org/abs/2503.09516
autorefine	Qwen-3B	原始论文：https://arxiv.org/abs/2505.11277

分析功能

加载构件或轨迹后，可使用多种方法进行分析，例如：

• 统计已回答的查询数量。
• 查看每次迭代所需的查询数量。
• 检查特定查询检索到的文档ID。
• 将检索结果格式化为TREC运行格式。

许可证与声明

• 许可证：ASQ数据集在MIT许可证下发布。个别源数据集可能拥有其自身的许可证。
• 伦理声明：ASQ源自公开可用的数据集，仅用于智能体搜索行为研究。作者不对轨迹中的内容或任何偏见表示认可或承担责任。

搜集汇总

数据集介绍

构建方式

在信息检索与智能代理交叉领域，ASQ数据集的构建过程体现了对检索增强生成（RAG）代理搜索行为的系统性捕捉。该数据集通过模块化框架生成，首先基于PyTerrier检索流水线配置检索组件，并支持多种预训练生成模型作为代理核心。构建时，利用IRDS标准数据集或自定义查询集作为输入，通过代理执行多轮交互式搜索，自动记录每次迭代的查询、检索文档及中间思考过程。生成的原始终端输出通过专用提取器转化为结构化TSV文件，最终按数据集、检索配置、代理家族和生成模型分层存储，形成可复现的轨迹集合。

特点

ASQ数据集的核心特征在于其多层次、结构化的轨迹记录体系，能够细致刻画RAG代理在复杂搜索任务中的动态行为。数据集以分层目录组织，便于按查询集、检索配置、代理类型和生成模型进行灵活筛选与分析。轨迹内容涵盖初始查询、多轮迭代生成的子查询、检索到的文档标识及内容，以及可选的代理思考过程，为研究代理的查询重构、文档选择与推理机制提供了丰富素材。此外，数据集支持通过标准化工具加载完整轨迹集合或独立构件，并内置多种分析方法，如查询迭代统计、文档检索映射等，增强了其在行为研究中的实用性与可扩展性。

使用方法

使用ASQ数据集时，研究人员可通过提供的配置类与路径构建工具，便捷地加载特定配置下的完整轨迹集合或独立构件，如答案、迭代查询与检索文档。数据集支持直接利用预计算轨迹进行行为分析，例如统计查询应答数量、分析迭代次数分布或格式化检索结果为TREC标准格式。对于扩展性应用，用户可依据框架指南集成新的代理家族或生成模型，以生成自定义的ASQ式轨迹。实际使用中，建议参考随附的Jupyter笔记本进行快速入门，并注意计算密集型生成过程已提供Hugging Face平台预计算版本，以提升研究效率。

背景与挑战

背景概述

在信息检索与生成式人工智能融合的背景下，ASQ（Agentic Search Queryset）数据集应运而生，旨在系统捕捉检索增强生成（RAG）智能体在搜索任务中的行为轨迹。该数据集由Francesca Pezzuti、Ophir Frieder等研究人员于2026年构建，并依托arXiv预印本平台发布。其核心研究问题聚焦于理解与建模智能体在交互式搜索过程中的查询生成、文档检索及推理机制，为评估与优化RAG系统的自主性与效率提供了关键数据支撑。该数据集通过整合多种智能体架构与生成模型，推动了智能搜索系统在复杂信息需求场景下的可解释性与性能提升，对自然语言处理与信息检索领域的交叉研究具有显著影响力。

当前挑战

ASQ数据集致力于解决RAG智能体在开放域问答与多跳推理任务中面临的挑战，包括智能体如何动态生成精准搜索查询以迭代获取相关信息，以及如何平衡检索效率与答案生成质量。在构建过程中，数据集面临多重技术挑战：其一，需设计统一框架以兼容多样化的智能体家族（如search_r1与autorefine）与生成模型（如Qwen系列），确保行为轨迹的可比性与可扩展性；其二，高效处理大规模检索流水线与计算密集型轨迹生成过程，涉及对PyTerrier检索组件的深度集成与资源优化；其三，需建立标准化数据提取与存储协议，以支持多层次行为分析，同时应对原始数据集中潜在的内容偏差与伦理风险。

常用场景

经典使用场景

在信息检索与自然语言处理领域，ASQ数据集为研究检索增强生成（RAG）智能体的搜索行为提供了关键资源。其经典使用场景集中于模拟和分析智能体在复杂问答任务中的多轮交互过程，例如通过HotpotQA等基准数据集，研究者能够深入观察智能体如何动态生成查询、迭代检索文档并整合信息以形成最终答案。这一场景不仅揭示了智能体在开放域问答中的决策逻辑，还为优化其检索策略与推理能力奠定了实证基础。

衍生相关工作

围绕ASQ数据集，学术界已衍生出一系列经典研究工作。例如，基于SearchR1与AutoRefine等智能体架构的原始论文深入探讨了智能体在检索过程中的强化学习与自优化策略。这些研究利用ASQ提供的轨迹数据，进一步开发了新型智能体评估指标、行为可视化工具以及跨模型比较框架。同时，数据集也促进了开源社区对多智能体协作检索、查询意图理解等前沿方向的探索，为后续智能体搜索系统的创新提供了丰富的数据基础与方法论启示。

数据集最近研究

最新研究方向

在信息检索与自然语言处理交叉领域，ASQ数据集聚焦于捕捉RAG智能体在搜索任务中的行为轨迹，为理解智能体决策过程提供了宝贵资源。当前研究前沿围绕智能体搜索行为的可解释性与优化展开，学者们利用该数据集分析智能体在多轮查询中的迭代策略，探索检索增强生成系统的性能边界。随着大语言模型在搜索场景中的深度融合，ASQ数据集促进了智能体搜索效率与准确性的评估，推动了自适应检索机制的发展，对构建下一代自主搜索系统具有重要指导意义。