agentic-deep-research-eval

Agentic Deep Research — Benchmark & Eval (BAER) 是一个专注于评估确定性、可复现的本地智能体长文本生成管道的基准测试与评估数据集。其核心是BAER评估方法，该方法不调用模型，确保对同一生成内容总是产生相同的评估报告，从而保证结果的可比性。数据集包含两部分：1) 多主题基准测试结果，覆盖RLHF、Diffusion、RAG、Mixture-of-Experts四个主题，每个主题生成了约96节的完整技术书籍，并提供了接受率、引用精确度、参考文献主题相关性、技术深度百分比等指标的平均值和标准差；结果显示，在忠实性和结构一致性方面表现完美且稳定，而完整性则与主题相关。2) 详细数据文件（per_section_metrics.csv），包含288个章节级别的数据行，记录每节的单词数、引用数、接地情况、主题、交叉引用、公式数量、质量评分等丰富指标，可通过HuggingFace datasets库直接加载。此外，数据集还包含一个完整的参考运行（agentic_2025_full）的详细评估结果，该运行生成了一个605页、约25.8万词、包含288节（其中269节被接受）的技术书籍，展示了高技术深度（90%的节包含公式）、零近重复对、完美的规范召回率等特性。数据集旨在为研究完全基于本地模型（如Ollama + transformers）的、从主题生成具有扎实依据、LaTeX排版的智能体长文本生成流程提供评估框架、基准参考和可复现的优化研究案例（例如通过跨章节证据池内存减少完整性与忠实性之间的权衡）。评估重点在于机械和结构质量，如冗余度、公式占比、引用准确性、覆盖率等，而非语义连贯性或事实正确性。

Agentic Deep Research — Benchmark & Eval (BAER) is a benchmark and evaluation dataset focused on assessing deterministic, reproducible local agent long-text generation pipelines. Its core is the BAER evaluation method, which does not invoke models, ensuring that the same generated content always produces identical evaluation reports, thus guaranteeing comparability of results. The dataset consists of two main parts: 1) A multi-topic benchmark test result covering four topics: RLHF, Diffusion, RAG, and Mixture-of-Experts, with each topic generating approximately 96 sections of complete technical books, and providing average values and standard deviations for metrics such as acceptance rate, citation precision, reference topic relevance, and technical depth percentage. The results show perfect and stable performance in faithfulness and structural consistency (citation precision, canonical recall, near-duplicate pairs), while completeness is topic-dependent. 2) A detailed data file (per_section_metrics.csv) containing 288 section-level data rows, recording rich metrics for each section such as word count, citation count, grounding status, topic, cross-references, formula count, quality score, and can be directly loaded via the HuggingFace datasets library. Additionally, the dataset includes detailed evaluation results from a complete reference run (agentic_2025_full), which generated a 605-page, approximately 258,000-word technical book with 288 sections (of which 269 were accepted), demonstrating high technical depth (90% of sections contain formulas), zero near-duplicate pairs, perfect canonical recall, and other characteristics. The dataset aims to provide an evaluation framework, benchmark reference, and reproducible optimization research cases (e.g., reducing the trade-off between completeness and faithfulness through cross-section evidence pool memory) for studying fully local model-based (e.g., Ollama + transformers) agent long-text generation processes that produce well-founded, LaTeX-typeset content from topics. The evaluation focuses on mechanical and structural quality, such as redundancy, formula proportion, citation accuracy, coverage, etc., rather than semantic coherence or factual correctness.

原始信息汇总

数据集概述：Agentic Deep Research — Benchmark & Eval (BAER)

该数据集提供了一个确定性、可复现的评估框架及参考结果，用于测试完全本地化的智能体长文本生成任务。整个流程使用本地模型（Ollama + transformers）将主题转化为一篇有依据的、LaTeX排版的学术书籍，并对每个章节进行多项质量控制。

核心定位：不是竞争性排行榜，而是一个评估方法论 (BAER) + 4个主题的基准测试 + 智能体优化研究。

数据集构成

路径/文件	内容说明
eval/benchmark_book.py	BAER评估框架脚本 — 确定性，可复现。
eval/book_eval.json	参考运行的完整机器可读BAER输出。
eval/book_eval_report.md	参考运行的人类可读BAER报告。
data/per_section_metrics.csv	288条逐章节指标（词数、引用、基础性、主题、交叉引用、公式、质量等）；可通过 datasets 库加载。
example/book.{md,pdf}	评估产生的工件 — 一本605页的生成书籍。
example/{outline,topic}_profile.json	结构（24×12章节大纲）及发现概要。

关键评估指标 (BAER)

评估分为四个维度：

• Benchmark：页面数、词数、章节数（通过/阻挡）、引用数。
• Analyze：章节间冗余度（8-gram Jaccard）、标题唯一性、引用主题相关性（重排序余弦≥0.50）、覆盖面（必须覆盖/规范术语）、技术深度百分比（含有公式的章节比例）。
• Eval：核心质量门控是关键区分信号；引用精确度在所有运行中均饱和为1.0；基础性门控仅作记录，不作为质量关卡。
• Report：Markdown + JSON 格式输出，与运行并存。

多主题基准测试结果（4个主题，固定流程）

指标	RLHF	Diffusion	RAG	MoE	均值 ± 标准差
接受率	0.656	0.816	0.723	0.702	0.724 ± 0.058
近似重复对数量	0	0	0	0	0 ± 0
引用精确度 (G2)	1.0	1.0	1.0	1.0	1.0 ± 0
规范术语召回率	1.0	1.0	1.0	1.0	1.0 ± 0
引用主题相关性	0.771	0.867	0.895	0.900	0.858 ± 0.052
技术深度百分比	66%	83%	71%	70%	72.5 ± 6.3

核心发现：忠实度和结构在所有主题上完美且一致（标准差为0）；完整性是主题相关的变量（接受率0.72 ± 0.06）——对于检索稀疏的细分子主题，门控机制会牺牲一部分完整性以换取忠实度。

参考运行示例 (agentic_2025_full)

• 主题：《Agentic trends from agents, 2025 to present》（越南语提示词）
• 规模：24章 × 12节，共288节（269节通过，19节因P0a被阻）
• 技术栈：重排序器 + HHEM（基础性评估）

运行结果关键指标：

指标	值
页数 / 词数 / 章节数	605 / ~258k / 288
冗余度（8-gram Jaccard）	均值 0.001 · 最大值 0.253 · 0 对近似重复
技术深度	90%的章节含有公式（3403个行内公式 + 669个显示公式 + 56个代码块 + 352个算法块）
覆盖面	必须覆盖项 6/6 · 规范术语 10/10 · 规范术语召回率 1.0
引用主题相关性	78.5% (n=2142) · arXiv 1667 / 维基 357 / DuckDuckGo 118
主题门控 (G4)	93% 通过 ≥0.50 · 均值 0.817
引用精确度 (G2)	均值 0.794

复现方法

bash git clone https://github.com/vudang4494/agentic && cd agentic

需要本地Ollama模型来生成书籍，然后运行：

python3 files/eval/benchmark_book.py <run-name>

诚实分析

• BAER仅衡量机械/结构质量（冗余度、公式百分比、引用、覆盖面、主题相关性），不评估语义连贯性、事实正确性或实用性。
• 参考运行的内容来自一个修复前的流程，包括模板化大纲、部分章节被阻挡、基础性评估无效等问题。所有问题已在仓库中修复。
• 此数据集仅包含一次参考运行，不是经过验证的排行榜，应视作说明性工件和可复现的评估框架。

许可协议

• 代码：MIT 许可
• 生成的书籍内容：作者版权所有

搜集汇总

数据集介绍

构建方式

该数据集名为Agentic Deep Research — Benchmark & Eval (BAER)，旨在为全本地化的智能体长文本生成任务提供一套确定性、可复现的评估框架。其构建方式基于一个完整的流水线：利用本地模型（Ollama与transformers）将给定主题转化为一篇包含LaTeX排版的、有据可依的技术书籍。整个生成过程受控于多层门控机制，逐节校验其是否具有充分的事实依据、主题相关性、引文精确性以及内容非冗余性。BAER评估框架本身不调用任何生成模型，因此同一份生成文档可获得完全一致的评估报告。数据集包含四个主题（RLHF、扩散模型、RAG、混合专家模型）的完整运行结果，每个主题均生成了约96个小节的书籍，并记录了每节的详细指标。

特点

BAER数据集的核心特性在于其多维度的确定性评估指标体系。它从机械与结构层面衡量生成质量，涵盖接受率、跨节冗余度（基于8-gram Jaccard系数）、引文精确度、规范术语召回率、参考来源主题相关性以及技术深度百分比（即包含公式的章节比例）。实验表明，该数据集在引文精确度和规范术语召回率上均达到完美且一致的水平，而接受率作为主题依赖的变量，揭示了完整性并非恒定不变。此外，数据集还引入了跨节证据池记忆机制，通过允许检索资源稀薄的章节复用相邻小节收集的主题相关来源，在一定程度上缓解了完整性与忠实性之间的权衡。所有指标均以零冗余和零近似重复对为基准，确保了评估的严苛与公正。

使用方法

使用BAER数据集极为便捷，研究人员可通过HuggingFace Datasets库直接加载每节指标数据，具体命令为`load_dataset("vudang449/agentic-deep-research-eval", "per_section_metrics")`。若要重现完整评估流程，需克隆官方代码仓库并配置本地Ollama模型，随后运行`python3 files/eval/benchmark_book.py <run-name>`即可生成机器可读的JSON评估报告与人类可读的Markdown报告。数据集内部包含完整的评估脚本、运行结果、生成书籍实例以及详细的指标词典，支持用户自定义主题与模型组合，从而在不同场景下对智能体长文本生成系统进行标准化的性能评测。

背景与挑战

背景概述

Agentic Deep Research — Benchmark & Eval (BAER) 数据集由研究者 Vũ Đăng 于2025年创建，旨在系统评估基于本地大语言模型的自主长文本生成能力。该研究聚焦于全流程自主化技术文献撰写，将用户提供的主题转化为结构严谨、引用可溯的LaTeX格式书籍，并采用完全本地化的模型堆栈（如Ollama与transformers）确保可复现性。BAER提供了一种确定性的评估框架，包含四主题基准测试（RLHF、扩散模型、RAG、专家混合），系统衡量生成内容的忠实度、结构完整性与主题覆盖度。其在自动化科学写作与知识蒸馏领域具有开创性意义，为解决大型语言模型在长篇生成中的幻觉与冗余问题提供了可量化的解决方案。

当前挑战

BAER面临的领域核心挑战包括：1）长文本生成中忠实度与完整性的权衡，尤其在检索信息稀疏的子主题上，系统通过门控机制在过滤无关内容时可能牺牲覆盖度（接受率约0.72±0.06）；2）当前评估仅聚焦机械与结构质量（冗余度、公式占比、引用精确度），尚无法衡量语义连贯性、事实正确性及实际可用性，需要人工或经过验证的LLM裁判评估补充。构建过程中遇到的挑战有：3）参考运行中19个章节因模板化大纲与被动接地机制（HHEM）被阻断，需后续迭代优化；4）跨章节证据池记忆优化仅带来适度增益（接受率提升约11%），真正稀缺子主题仍难以突破领域门控，揭示了局部检索增强与全局知识共享间的固有矛盾。

常用场景

经典使用场景

该数据集（BAER）最为经典的使用场景在于对全本地化、代理驱动的长文本生成系统进行系统化评估与基准测试。它提供了一个完全确定性且可复现的评估流水线，能够将任意主题自动转化为一篇结构严谨、带有LaTeX排版的深度技术书籍。通过整合Ollama与transformers等本地模型，研究者可以在不依赖外部API的情况下，对生成内容逐节进行主题相关性、引文精确性、冗余度及技术深度的细粒度度量。

实际应用

在实际应用中，BAER评估框架适用于需要高质量、结构化且可验证的长文档自动生成场景。例如，学术机构可以利用该流水线快速生成技术综述报告，工程团队可基于其构建自动化的知识库摘要系统，而出版领域则能借助此工具辅助生成技术书籍的初稿。此外，BAER的模块化设计允许开发者仅通过替换本地模型即可适配不同领域的写作需求，从强化学习、扩散模型到混合专家系统等，均能获得图文并茂、引用可靠的技术文献。其评估报告中的详细指标（如技术深度百分比、重复对检测、引用角度等）还可作为质量控制的客观参考，显著降低人工审校的认知负荷。

衍生相关工作

BAER数据集的诞生催生了若干富有启发性的衍生工作方向。基于其跨节证据池记忆机制，研究者提出了一种轻量级的上下文补救策略，使当节检索薄弱时能够复用兄弟节的主题相关源，在RLHF任务上观察到接受率从0.656提升至0.729，同时忠实度指标（引文精确性、近重复对数）维持不变。这一设计思路启发了后续关于代理间知识共享与记忆管理的研究。此外，BAER的确定性评估流水线本身也成为探讨LLM-as-Judge范式局限性的重要案例，促使学界重新审视非语义指标（如冗余度、数学公式密度）在生成质量评估中的角色。当前已有工作尝试将BAER与人类评审或经过验证的判官模型结合，以期构建更全面的生成系统评价体系。