MetaSyn

MetaSyn是由清华大学研究团队构建的专注于元分析评估的基准数据集，涵盖了来自Nature Portfolio期刊的442篇专家策划的元分析文章。该数据集包含一个由140,585篇PubMed文章组成的检索语料库，其中包含8,674篇经过验证的阳性研究和131,911篇主题相似但不符合PI/ECO标准的困难负样本，同时提供了PI/ECO结构化的研究问题、搜索策略和日期范围等元数据。数据集的创建过程涉及从34,000多篇候选文章中通过人工注释和严格筛选，提取了包括研究问题、纳入排除标准和完整搜索策略在内的结构化信息，确保了跨阶段的一致性。该数据集主要应用于评估大型语言模型代理在完整元分析工作流中的性能，旨在解决当前系统在协议驱动的检索、筛选和合成任务中存在的可靠性瓶颈，特别是针对基于PI/ECO标准的资格推理能力。MetaSyn is a benchmark dataset dedicated to meta-analysis evaluation, developed by a research team from Tsinghua University. It encompasses 442 expert-curated meta-analysis articles from Nature Portfolio journals. The dataset includes a retrieval corpus consisting of 140,585 PubMed articles, among which there are 8,674 validated positive studies and 131,911 challenging negative samples with similar topics but failing to meet the PI/ECO criteria. It also provides metadata such as PI/ECO-structured research questions, search strategies, and date ranges. The dataset was constructed via manual annotation and rigorous screening of over 34,000 candidate articles, extracting structured information including research questions, inclusion and exclusion criteria, and complete search strategies, thus ensuring cross-stage consistency. This dataset is primarily applied to evaluate the performance of large language model agents across the full meta-analysis workflow, aiming to resolve the reliability bottlenecks of existing systems in protocol-driven retrieval, screening, and synthesis tasks, particularly the eligibility reasoning capability based on PI/ECO standards.

原始信息汇总

数据集概述：MetaSyn

MetaSyn 是一个从 Nature Portfolio（2015–2024）中精选的、包含 442 篇荟萃分析 的数据集，旨在评估 LLM 智能体在完整荟萃分析工作流程上的表现。

核心构成

• 检索语料库：包含 140,585 篇 PubMed 索引文章，覆盖所有纳入主题。
• 专家标注信息：包括 PICO/ECO 标准、搜索策略。
• 困难负样本集：主题相关但至少不满足一项纳入标准的文章。
• 金标准字段：包含效应量、异质性和结论。

数据统计

类别	荟萃分析数	语料库文章数
训练集	354	~112,000
测试集	88	~28,000
总计	442	140,585

指标	数值
每篇荟萃分析中位数纳入研究数	14
每篇荟萃分析平均纳入研究数	18.3
K=200 时的检索上限	90.9%

关键发现

• 所有评估的系统端到端恢复金标准纳入文献的比例最高仅为 52.7%（K=200 的最佳 RAG 管道）。
• 检索上限在 K=200 时可达 90.9%。
• 当前瓶颈在于筛选阶段：LLM 在同等主题相关性条件下，难以可靠地区分金标准研究和困难负样本。

数据获取与使用

• 下载地址：HuggingFace — BFTree/MetaSyn
• 数据文件：papers.json（442 条带注释的荟萃分析记录）、corpus.json（140,585 篇 PubMed 文章）、test_ids.json（88 个测试集论文 ID）
• 评估流程：下载数据 -> 将系统输出放置于 results/<system_name>/ 目录 -> 运行 evaluation/scripts/run_evaluation.py 进行评估。

许可协议

• 代码：MIT 许可
• 数据集：遵循 Nature Portfolio 使用条款。

搜集汇总

数据集介绍

构建方式

MetaSyn数据集源自Nature Portfolio系列期刊中经过同行评议的442篇元分析文章，构建过程严谨且多层次。首先，从超过34,000篇候选文章中，由约50名标注者依据严格的四阶段人工筛选协议进行审核，确保每篇均为真正的定量综合研究且包含可提取的纳入研究列表。随后，为每篇元分析构建了包含140,585篇PubMed文献的检索语料库，其中8,674篇为专家验证的阳性研究（即原始研究中实际纳入的文献），另有131,911篇为硬负样本，这些负样本虽在主题上与阳性研究高度相似，但因不符合PI/ECO（人群、干预/暴露、比较、结局）标准而被排除。每项条目还附有结构化的PI/ECO研究问题、检索策略、日期范围及纳入排除标准，所有元数据均经过双重人工校验，从而确保了从检索、筛选到综合各阶段地面真相的完整性与一致性。

使用方法

MetaSyn支持两种互补的评估模式。在端到端元分析生成任务中，系统接收包含结构化解构的研究问题与PI/ECO标准，需自主执行检索、筛选、数据提取与综合，最终输出纳入研究列表、结论及关键见解，其表现通过包含召回率、精确率、筛选准确率以及方向准确性等九项指标进行衡量。在独立的检索任务中，系统仅需根据研究问题从14万篇文献语料库中排序候选文章，以Recall@K评估其上限，且检索地面真相由原始论文的PI/ECO协议定义而非主题相似性，从而分离了上游检索与下游筛选的贡献。数据集已划分为训练集（354篇）和测试集（88篇），可支持模型微调、少样本提示及RAG管道评估，所有代码和评估指标均公开获取。

背景与挑战

背景概述

在循证医学领域，证据合成的规模与速度已远超个体研究者的处理能力，每日涌现的大量试验与系统综述亟需高效、可靠的自动化工具。Meta分析作为一种严格的、协议驱动的证据整合方法，其结构化的工作流程（包括文献检索、基于PI/ECO标准的筛选以及统计合成）为评估语言智能体的系统性科学推理能力提供了理想试验场。然而，现有基准测试多聚焦于最终文本生成或单一环节评估，缺乏覆盖完整流水线的、带有可验证真实标签的大规模资源。在这一背景下，清华大学研究团队于2025年发布了MetaSyn数据集，该数据集从Nature Portfolio旗下期刊中精心筛选了442篇专家策划的Meta分析，每篇均配有包含14万篇PubMed文章、经专家验证的阳性研究及主题相似但不符合纳入标准的困难负样本，并提供了完整的检索策略与日期边界，旨在填补这一空白，推动LLM智能体在科学证据合成领域的能力评估。

当前挑战

MetaSyn数据集所解决的领域核心挑战在于，当前语言模型在协议驱动的多阶段Meta分析流程中面临严重的筛选瓶颈。具体而言，尽管微调后的检索器在召回200篇文献时可达90.9%的召回率，但所有端到端管道均无法恢复超过52.7%的真实阳性研究，揭示了从主题相关候选集中可靠区分符合PI/ECO标准研究的本质困难。在构建过程中，团队面临多重挑战：首先，需从超过3.4万篇候选文章中通过人工注释识别并确认真正的定量Meta分析，此过程极为严苛，许多文章仅提供汇总统计而未列出单个研究，或部分列表使用专有标识符；其次，需构建包含8,674篇阳性研究与13.1万篇困难负样本的检索语料库，后者需通过与阳性研究主题相似但至少违反一条纳入标准的方式精心筛选；此外，还需将每篇论文的研究问题结构化为标准化的PI/ECO组件，并确保跨阶段的一致性。这些挑战使得MetaSyn成为一个极具难度且信息量丰富的基准测试平台。

常用场景

经典使用场景

MetaSyn的核心应用在于评估和基准测试大语言模型（LLM）在完成完整荟萃分析流程上的能力。该数据集为研究者提供了一个标准化的测试平台，旨在考察AI系统是否能够遵循严谨的PI/ECO准则，自主完成文献检索、研究筛选、数据提取与统计综合等关键步骤。通过模拟真实世界中证据综合的复杂任务，MetaSyn能够精准衡量LLM在结构化、协议驱动的科学推理方面的表现，尤其关注其是否可靠地复现了领域专家在筛查与决策过程中的逻辑。

解决学术问题

MetaSyn致力于解决当前学术研究中一个紧迫的评估鸿沟：缺乏一个能够同时涵盖检索、筛选与综合全流程、且具有逐阶段可验证标签的基准数据集。现有评测多聚焦于最终文本的流畅性或单阶段的相关性，忽略了荟萃分析核心的准则依从性判断。MetaSyn通过提供专家验证的PI/ECO结构化问题、硬负样本以及可审计的黄金标准，使研究者能够精确诊断AI系统在哪个环节发生失败——是遗漏了相关文献，还是未能正确应用纳入排除标准，从而为提升AI辅助证据综合的可信度提供了明确的方向。

实际应用

在面向证据的临床决策支持、公共卫生政策制定以及循证医学工具开发领域，MetaSyn展现出深远的应用价值。它能够作为一套严格的压力测试工具，用以筛选和验证具备真实部署潜力的AI辅助系统，这些系统旨在加速耗时耗力的文献筛选与证据综合过程。MetaSyn帮助开发者识别出当前LLM在从海量文献中精准识别符合纳入标准的研究时的瓶颈，从而指导下一代医疗人工智能工具的迭代方向，使其真正能够服务于一线研究人员、临床医生及政策制定者，提升证据综合的效率与可靠性。

数据集最近研究

最新研究方向

MetaSyn数据集聚焦于评估大语言模型在循证医学元分析全流程中的表现，前沿研究集中于揭示检索、筛选与综合阶段之间的瓶颈。当前最突出的障碍在于文献筛选环节：尽管基于MetaSyn微调的密集检索器在Recall@200上可达90.9%，但所有端到端流水线对金标准纳入文献的召回率均未超过52.7%。这一巨大差距源于系统难以在大量主题相似但不符合PI/ECO标准的干扰项中识别出真正合格的少数研究。研究进一步表明，不同模型架构（如DeepSeek-R1、GLM-5与GPT-5）在召回率、筛选精度与综合质量上呈现出截然不同的操作模式，而非单一性能排序。因此，该数据集倡导采用分阶段属性化评估指标，以替代传统的单一端到端分数，从而精确诊断系统的失败环节，并推动面向准则驱动型科学推理的下一代智能体研发。

相关研究论文

• Benchmarking LLM Agents on Meta-Analysis Articles from Nature Portfolio

  清华大学 · 2026年