COCHRANEFOREST

COCHRANEFOREST数据集是从48篇真实世界中的Cochrane系统评价中提取的202个经过人工标注的森林图，伴随着263个唯一研究的全文和关于研究问题的特定结论。森林图是生物医学系统评价的基石，将不同研究的结果汇总到单个轴上，便于直接比较不同研究的发现，并提供统计分析的视觉表示。数据集旨在支持从具有矛盾结论的临床研究问题中提取文档级别的科学证据的研究。数据集的创建过程包括从Cochrane数据库的系统评价中下载数据，应用一系列系统过滤步骤，以确保数据集的多样性和开放获取性。数据集的创建旨在解决自动化证据合成系统的挑战，特别是在处理具有矛盾结论的临床研究问题方面。

COCHRANEFOREST Dataset includes 202 manually annotated forest plots extracted from 48 real-world Cochrane systematic reviews, accompanied by full texts of 263 unique studies and specific conclusions related to the respective research questions. Forest plots are the cornerstone of biomedical systematic reviews: they aggregate results from various studies onto a single axis, facilitating direct comparison of findings across different studies and providing visual representations of statistical analyses. This dataset is designed to support research on extracting document-level scientific evidence from clinical research questions with contradictory conclusions. The dataset creation process involves downloading data from systematic reviews in the Cochrane Database and applying a series of systematic filtering steps to ensure the dataset's diversity and open accessibility. The dataset was developed to address the challenges faced by automated evidence synthesis systems, particularly when handling clinical research questions with contradictory conclusions.

搜集汇总

数据集介绍

构建方式

COCHRANEFOREST数据集基于Cochrane系统评价数据库（CDSR）构建，通过多阶段筛选流程确保数据质量与多样性。首先排除已撤销及版本冗余的评价，保留包含至少两项研究的评价以保证证据合成的有效性。进一步筛选确保所有研究全文可公开获取，并最终聚焦于呈现矛盾结论的森林图。该数据集包含202个标注森林图、263项独立研究及923个研究问题-结论对，覆盖48项系统评价，成为首个符合开放获取要求的大规模医学证据合成数据集。

使用方法

使用COCHRANEFOREST时，需以森林图为切入点，结合关联的研究全文进行证据提取。典型流程包括：解析研究问题中的PICO要素（人群、干预、对照、结局），检索对应研究的全文集合，通过置信区间分析或文本推理判定结论倾向。该数据集特别适用于测试检索增强生成（RAG）系统在跨文档矛盾证据整合中的性能，如论文提出的URCA框架通过均匀检索、聚类增强等步骤处理多源证据。评估指标推荐采用微平均F1值，重点关注系统对三类结论（支持干预/对照/无差异）的判别能力。

背景与挑战

背景概述

COCHRANEFOREST数据集由IBM Research Dublin和Dublin City University的研究团队于2025年创建，旨在支持临床研究问题的科学证据提取任务。该数据集基于Cochrane系统评价中的森林图，包含202个标注的森林图、相关临床研究问题、研究全文及研究特定结论。其核心研究问题聚焦于从生物医学研究中提取文档级科学证据，特别是在存在矛盾结论的情况下。COCHRANEFOREST的推出为自动化证据合成系统提供了重要的测试平台，显著提升了相关领域的研究水平。

当前挑战

COCHRANEFOREST数据集面临的挑战主要包括两方面：领域问题的挑战和构建过程的挑战。在领域问题方面，该数据集旨在解决从生物医学研究中提取科学证据的复杂任务，特别是在处理矛盾结论时，需要准确识别和整合多篇文献中的相关信息。构建过程中的挑战包括确保所有纳入研究的全文可访问性，以及处理森林图中复杂的数据结构和统计信息。此外，标注过程中需要高度专业的领域知识以确保结论的准确性，这进一步增加了数据集的构建难度。

常用场景

经典使用场景

COCHRANEFOREST数据集在生物医学证据合成领域具有重要应用价值，尤其在处理临床研究问题中的矛盾证据时表现突出。该数据集通过系统评价中的森林图，为研究者提供了丰富的结构化数据，包括研究问题、全文文献和研究结论。这种设计使得COCHRANEFOREST成为评估自动化证据提取系统的理想测试平台，特别是在需要跨文档综合分析的研究场景中。

解决学术问题

COCHRANEFOREST数据集解决了生物医学研究中证据提取的关键问题，特别是在处理矛盾结论时的挑战。通过提供标准化的研究问题和结论标注，该数据集为开发自动化证据合成系统提供了可靠的基础。其重要意义在于推动了生物医学信息检索和自然语言处理技术的进步，为临床决策支持系统的发展提供了有力支持。

实际应用

在实际应用中，COCHRANEFOREST数据集可广泛应用于临床决策支持系统的开发。医疗从业者可以利用该数据集训练的系统快速获取最新的研究证据，显著缩短系统评价的制作时间。此外，该数据集还可用于开发智能文献综述工具，帮助研究人员高效处理海量医学文献，提升循证医学实践的效率和质量。

数据集最近研究

最新研究方向

在生物医学证据合成领域，COCHRANEFOREST数据集的推出标志着文档级科学证据提取任务的重要进展。该数据集基于Cochrane系统评价中的森林图，涵盖了202个标注样本，涉及48项真实世界系统评价和263项独特研究，为处理临床问题中的矛盾证据提供了宝贵资源。前沿研究聚焦于开发先进的检索增强生成框架，如URCA（Uniform Retrieval Clustered Augmentation），该框架通过均匀检索、聚类和知识提取，显著提升了证据提取的准确性和鲁棒性。实验结果表明，URCA在F1分数上比现有最佳方法提高了10.3%，凸显了其在复杂证据合成任务中的优越性。这一进展不仅推动了自动化证据合成系统的发展，也为临床决策支持系统提供了更可靠的技术基础。

相关研究论文

• Query-driven Document-level Scientific Evidence Extraction from Biomedical Studies

  IBM Research Dublin, Dublin City University, IT:U Linz · 2025年