irds/clueweb12_b13_clef-ehealth_pl

`clueweb12/b13/clef-ehealth/pl`数据集由ir-datasets包提供，包含300个查询（即主题）和269,232个相关性评估（qrels）。文档部分需要使用`irds/clueweb12_b13`数据集。该数据集主要用于文本检索任务。

The `clueweb12/b13/clef-ehealth/pl` dataset is provided by the ir-datasets package, containing 300 queries (i.e., topics) and 269,232 relevance judgments (qrels). The document corpus of this dataset requires the use of the `irds/clueweb12_b13` dataset. This dataset is primarily used for text retrieval tasks.

原始信息汇总

数据集卡片 clueweb12/b13/clef-ehealth/pl

数据集概述

clueweb12/b13/clef-ehealth/pl 数据集由 ir-datasets 包提供。

数据内容

该数据集包含以下内容：

• queries（即主题）：数量为300。
• qrels（相关性评估）：数量为269,232。

使用方法

以下是加载和使用该数据集的示例代码：

python from datasets import load_dataset

queries = load_dataset(irds/clueweb12_b13_clef-ehealth_pl, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/clueweb12_b13_clef-ehealth_pl, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., trustworthiness: ..., understandability: ..., iteration: ...}

引用信息

@inproceedings{Zuccon2016ClefEhealth, title={The IR Task at the CLEF eHealth Evaluation Lab 2016: User-centred Health Information Retrieval}, author={Guido Zuccon and Joao Palotti and Lorraine Goeuriot and Liadh Kelly and Mihai Lupu and Pavel Pecina and Henning M{"u}ller and Julie Budaher and Anthony Deacon}, booktitle={CLEF}, year={2016} } @inproceedings{Palotti2017ClefEhealth, title={CLEF 2017 Task Overview: The IR Task at the eHealth Evaluation Lab - Evaluating Retrieval Methods for Consumer Health Search}, author={Joao Palotti and Guido Zuccon and Jimmy and Pavel Pecina and Mihai Lupu and Lorraine Goeuriot and Liadh Kelly and Allan Hanbury}, booktitle={CLEF}, year={2017} }

搜集汇总

数据集介绍

构建方式

该数据集源于CLEF eHealth评估实验室的信息检索任务，旨在支持面向用户的健康信息检索研究。其构建基于ClueWeb12语料库的B13子集，通过收集300个查询主题（queries）并组织专家进行相关性判断，生成了269,232条相关性评估记录（qrels）。每条评估不仅包含文档与查询的相关性等级，还涵盖了可信度（trustworthiness）、可理解性（understandability）等多维度元数据，为健康信息检索的细粒度评价提供了丰富依据。

特点

数据集以用户健康信息检索为核心，聚焦于消费者健康搜索场景下的文档质量评估。其独到之处在于引入了超越传统二元相关性的多维评价指标，包括可信度与可理解性，从而能够更全面地反映健康信息对普通用户的实用价值。此外，300个查询主题覆盖了广泛的健康议题，配合大规模的相关性判断，为训练和评估检索模型提供了兼具深度与广度的基准资源。

使用方法

研究者可通过HuggingFace Datasets库便捷加载该数据集，使用`load_dataset('irds/clueweb12_b13_clef-ehealth_pl', 'queries')`获取查询主题，或通过`load_dataset('irds/clueweb12_b13_clef-ehealth_pl', 'qrels')`获取相关性评估数据。对于文档内容，需另行加载`irds/clueweb12_b13`数据集。加载过程中，系统会自动下载或提供访问指引，并将数据转化为标准的🤗 Dataset格式，便于后续的检索实验与模型评估工作。

背景与挑战

背景概述

在健康信息检索领域，如何精准捕捉公众对医疗健康问题的多样化查询需求，始终是学界与业界共同关注的核心议题。由昆士兰科技大学、都柏林城市大学等多所机构的研究人员于2016至2017年间共同创建的irds/clueweb12_b13_clef-ehealth_pl数据集，依托ClueWeb12大规模网络语料库的子集，聚焦于面向消费者的健康信息检索任务。该数据集包含300个精心设计的查询主题以及超过26万条相关性评估记录，旨在模拟普通用户搜索健康信息时的真实场景，推动检索系统对医疗文本的语义理解与相关性排序能力。其研究贡献不仅体现在为CLEF eHealth评估实验室提供了标准化基准，更催生了多项针对用户健康信息行为建模与检索优化的方法论突破，对跨语言健康信息检索领域产生了深远影响。

当前挑战

该数据集所面临的挑战首先体现在健康信息检索的领域复杂性上：用户的查询往往包含非专业术语、拼写错误或模糊表述，而医疗文献中充斥着专业词汇与结构化差异，这要求检索系统具备从嘈杂查询中精准匹配权威健康信息的能力，同时平衡相关性与可信度、可理解性等多维评估指标。在数据集构建过程中，研究人员亦遭遇显著困难：需从海量网络文档中筛选出符合健康信息质量标准的语料，并协调跨学科团队制定统一的评估准则，确保不同标注者对查询意图的理解一致性。此外，由于健康信息具有时效性，数据集的静态特性难以动态反映医疗知识的快速更新，为长期基准测试的可靠性带来了持续性挑战。

常用场景

经典使用场景

该数据集专为健康信息检索领域的用户中心化研究而构建，其经典使用场景聚焦于评估面向普通消费者的医疗健康搜索系统。通过提供300个查询主题与超过26万条相关性判断，研究者能够系统性地测试检索模型在处理非专业用户健康信息需求时的表现，尤其是在多维度相关性评估（如可信度、可理解性）的框架下，衡量系统返回结果的精准度与用户友好性。

衍生相关工作

基于该数据集，衍生了一系列在CLEF eHealth评测任务中发表的经典工作，如Zuccon等人（2016）提出的用户中心化健康信息检索方法，以及Palotti等人（2017）对消费者健康搜索中检索方法的系统性评估。这些研究不仅深化了对非专业用户信息行为模式的理解，还催生了面向健康领域的查询理解、相关性反馈与结果可解释性等前沿探索，为信息检索与健康信息学的交叉研究奠定了坚实基础。

数据集最近研究

最新研究方向

在医疗健康信息检索领域，消费者健康搜索（Consumer Health Search）正成为前沿热点，旨在帮助普通用户从海量网络信息中精准获取可信、易懂的健康知识。该数据集源于CLEF eHealth评估实验室2016-2017年的IR任务，聚焦于用户中心的健康信息检索，包含300个查询和近27万条相关性、可信度及可理解性评估。当前研究方向集中在大语言模型与检索增强生成技术的融合，以提升对非专业用户健康意图的理解，同时结合多维度评估体系（如可信度与可理解性）优化检索结果，应对虚假医疗信息泛滥的挑战。这一工作对推动精准医疗信息普及、增强公众健康素养具有深远意义。