alireza7/GrepSeek-ColdStart-SFT-10k

GrepSeek冷启动SFT数据集是一个用于直接语料交互（DCI）搜索代理的监督微调数据集合，旨在帮助代理通过Unix shell命令（如rg、grep、head等）直接对原始文本语料进行检索和推理，而不是从预计算的密集或稀疏索引中检索。该数据集包含10,000个多轮交互轨迹，平衡混合了5,000个来自Natural Questions（单跳问题）和5,000个来自HotpotQA（多跳问题）的示例。每个轨迹遵循GrepSeek交互协议：包括代理的推理、shell命令调用、工具响应和最终答案。数据通过两阶段管道生成：首先，Answer-Aware Tutor以反向方式从黄金答案构建验证的证据链；然后，Answer-Blind Planner将链转为时间顺序，并生成仅依赖已观察信息的推理。数据经过质量过滤，确保答案与黄金答案有非零token-F1分数且无未来状态泄漏。该数据集用于冷启动SFT阶段，以稳定代理的行为，为后续强化学习阶段奠定基础。

GrepSeek cold-start supervised fine-tuning dataset for Direct Corpus Interaction (DCI) search agents, where agents answer questions by issuing Unix shell commands (e.g., rg, grep, head) directly against a raw text corpus, coupling retrieval and reasoning in a single policy instead of retrieving from pre-computed indexes. It contains 10,000 multi-turn trajectories, balanced with 5,000 from Natural Questions (single-hop) and 5,000 from HotpotQA (multi-hop). Each trajectory follows the GrepSeek interaction protocol: agent reasoning, shell command calls, tool responses, and final answers. The data is generated via a two-phase pipeline using Answer-Aware Tutor and Answer-Blind Planner (Qwen3.5-27B), with quality filtering to ensure non-zero token-F1 with gold answers and no future-state leakage. Intended for cold-start SFT to instill stable shell-search behavior before reinforcement learning.

搜集汇总

数据集介绍

构建方式

该数据集旨在解决强化学习训练搜索智能体时因初始策略不稳定而引发的崩溃问题。其构建采用两阶段流水线：首先，利用一个知晓答案的“Tutor”模型，从黄金标准答案出发逆向拆解查询链，并执行目标屏蔽策略，禁止将答案及其同义词用作搜索词，从而生成经过验证的证据链，避免信息泄露；随后，由一个不知晓答案的“Planner”模型将上述证据链正向还原为时间顺序，基于已观测到的上下文生成推理过程，再由Tutor进行编辑以确保其仅引用已获取信息。最后，经过质量筛选，仅保留合成答案与真实答案间Token-F1值非零且经连贯性判据确认无未来状态泄露的轨迹，最终得到一万条高质量的多轮交互样本。

特点

该数据集专为“直接语料交互”（Direct Corpus Interaction, DCI）范式设计，不同于传统的基于预计算索引的检索方式，代理通过直接对原始文本语料库执行Unix Shell命令（如rg、grep、head等）来获取信息，将检索与推理耦合于同一策略中。数据集包含10,000条多轮交互轨迹，均衡地混合了来自Natural Questions的单跳问题和来自HotpotQA的多跳问题，覆盖了从简单查询到需要多步推理的复杂场景。每条轨迹严格遵循GrepSeek交互协议，依次包含思考、工具调用、工具响应和最终答案等环节，格式规范统一，便于后续模型微调。

使用方法

该数据集主要作为冷启动监督微调数据集，用于初始化GrepSeek搜索智能体的策略网络，随后再通过强化学习进一步优化。用户可通过HuggingFace的datasets库便捷加载，使用load_dataset函数即可获取训练集，每个样本包含完整的对话历史消息列表。根据论文结论，模型性能在约5k条轨迹附近达到饱和，因此该10k规模的数据集提供了充裕的训练资源。推荐的训练框架为verl FSDP训练器，在代码仓库中已集成对应的sft阶段脚本。微调后的模型可直接用于构建完整的搜索智能体，并在给定的2018年维基百科语料库（约2100万段落）上进行推理。

背景与挑战

背景概述

GrepSeek-ColdStart-SFT-10k数据集由Alireza Salemi、Chang Zeng等来自马萨诸塞大学阿默斯特分校等机构的研究人员于2026年创建，旨在解决直接语料交互（DCI）搜索代理的冷启动监督微调问题。该数据集是GrepSeek项目的重要组成部分，GrepSeek提出了一种新颖的范式：搜索代理不再依赖预计算的稠密或稀疏索引，而是通过Unix shell命令（如rg、grep）直接对原始文本语料进行检索与推理的耦合操作。该数据集包含10,000条多轮轨迹，平衡混合了Natural Questions和HotpotQA（单跳与多跳问答），其论文发表在arXiv上，为智能体驱动的检索增强生成领域提供了关键的初始化训练数据，对推动搜索代理从传统索引检索向直接语料交互的转变具有重要影响力。

当前挑战

该数据集旨在解决的核心领域挑战是：从头开始使用强化学习优化基础模型以与2100万段语料交互时，训练极不稳定——代理会发出过于宽泛的查询，检索大量语料片段，导致上下文长度剧增，甚至在内存量高达1TB的硬件上仍出现显存或主机内存溢出。构建过程中的挑战包括：如何生成不泄露答案且因果一致的搜索轨迹，为此设计了双阶段管道（逆向回答感知导师阶段与正向回答盲态规划阶段），在逆向阶段通过目标屏蔽禁止使用答案及其别名作为搜索词，在正向阶段确保规划器仅依赖已观察到的信息，并通过质量过滤确保生成答案与真实答案的token-F1非零且无未来状态泄露，最终生成稳定、简洁且因果驱动的shell搜索行为数据。

常用场景

经典使用场景

GrepSeek-ColdStart-SFT-10k 数据集专为训练基于直接语料交互（Direct Corpus Interaction, DCI）范式的搜索智能体而设计。与传统的依赖预计算稠密或稀疏索引的检索方式不同，DCI 智能体通过直接向原始文本语料库发送 Unix shell 命令（如 rg、grep、head 等）来回答问题，将检索与推理融合于单一策略之中。该数据集提供了 10,000 条多轮交互轨迹，涵盖了单跳和多跳问答场景，是冷启动监督微调阶段的理想训练资源。研究者可基于此数据集初始化智能体策略，使其掌握稳定且简洁的 shell 搜索行为，为后续强化学习优化奠定坚实基础。

实际应用

在实际应用中，GrepSeek 搜索智能体可以部署于需要实时、精确检索大规模非结构化文本的场景，例如科学研究文献的快速定位、法律文档的案情分析、医疗知识库的辅助诊断等。由于智能体通过底层的文本搜索命令直接操作数据，无需预先构建索引，因此特别适合处理频繁更新或不可预知模式的语料库。此外，该数据集的冷启动微调策略可以推广至其他工具使用型智能体（如代码执行、数据库查询等）的训练场景，为构建通用型交互式智能助手提供了可靠的技术路径，显著降低了从零训练高性能智能体的门槛。

衍生相关工作

基于 GrepSeek-ColdStart-SFT-10k 数据集，研究者已成功训练出两个核心模型变体：首先，经过冷启动监督微调获得的 GrepSeek-Qwen3.5-9B-SFT 模型展现了稳定的 shell 搜索能力；在此基础上，利用 GRPO 算法进行强化学习优化，进一步得到了 GrepSeek-Qwen3.5-9B-GRPO 模型，其搜索性能在实验中显著提升。这些工作形成了从冷启动到强化学习优化的完整智能体训练链路。该数据集的规模效应研究也揭示了监督微调性能在约 5,000 条轨迹后趋于饱和的规律，为未来高效数据构建策略的设计提供了实证依据。相关研究已在 arXiv 发表，代码与模型均开源发布。