irds/tripclick_train_torso
收藏Hugging Face2023-01-05 更新2024-03-04 收录
下载链接:
https://hf-mirror.com/datasets/irds/tripclick_train_torso
下载链接
链接失效反馈官方服务:
资源简介:
`tripclick/train/torso`数据集由ir-datasets包提供,主要用于文本检索任务。该数据集包含105,964个查询(即主题)和966,898个相关性评估(qrels)。文档数据需要使用`irds/tripclick`数据集。
The `tripclick/train/torso` dataset is provided by the ir-datasets package and is primarily intended for text retrieval tasks. It contains 105,964 queries (i.e., topics) and 966,898 relevance judgments (qrels). The document data for this dataset must be accessed using the `irds/tripclick` dataset.
提供机构:
irds原始信息汇总
数据集概述
数据集名称
tripclick/train/torso
数据来源
- 源数据集:
irds/tripclick
数据内容
queries(查询/主题):总数105,964qrels(相关性评估):总数966,898docs数据集:irds/tripclick
数据使用示例
python from datasets import load_dataset
queries = load_dataset(irds/tripclick_train_torso, queries) for record in queries: record # {query_id: ..., text: ...}
qrels = load_dataset(irds/tripclick_train_torso, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}
引用信息
@inproceedings{Rekabsaz2021TripClick, title={TripClick: The Log Files of a Large Health Web Search Engine}, author={Navid Rekabsaz and Oleg Lesota and Markus Schedl and Jon Brassey and Carsten Eickhoff}, year={2021}, booktitle={SIGIR} }
搜集汇总
数据集介绍

构建方式
在信息检索领域,用户搜索行为数据是优化检索模型的关键资源。TripClick数据集源自大型健康搜索引擎的日志文件,而本数据集`tripclick/train/torso`则是对TripClick训练集的一个子集划分,专为研究信息检索中的点击模型而设计。具体而言,该数据集由ir-datasets包提供,包含了105,964条查询(queries)以及与之对应的966,898条相关性评估(qrels),这些评估通过用户点击行为隐含地定义了文档与查询之间的相关程度。文档内容则需从完整的TripClick文档集中获取,从而构建出一个专注于训练阶段的检索评估集合。
特点
该数据集的核心特点在于其规模与专注性。拥有超过十万条查询和近百万条相关性标注,为训练和评估大规模检索模型提供了丰富的数据基础。其独特性在于,相关性标注并非由人工专家完成,而是源自真实用户在与健康搜索引擎交互时产生的点击日志,这反映了用户在实际信息需求下的真实判断,具有高度的生态效度。此外,数据集明确区分了查询(queries)和相关性评估(qrels),并提供了与外部文档集的关联,便于研究者灵活地结合不同文档表示进行实验。
使用方法
使用该数据集时,研究者可通过Hugging Face的datasets库便捷加载。具体而言,调用`load_dataset('irds/tripclick_train_torso', 'queries')`即可获取包含查询ID和文本的查询集合;调用`load_dataset('irds/tripclick_train_torso', 'qrels')`则可获取包含查询ID、文档ID、相关性分数和迭代信息的评估记录。加载后的数据会以Dataset格式存储,支持迭代访问。需要注意的是,文档数据需另行从`irds/tripclick`数据集加载,以完成完整的检索实验流程。
背景与挑战
背景概述
在信息检索领域,医疗健康搜索因其专业性和用户意图的复杂性而成为一个极具挑战性的研究方向。TripClick数据集由Navid Rekabsaz、Oleg Lesota、Markus Schedl、Jon Brassey及Carsten Eickhoff等研究者于2021年在SIGIR会议上提出,其核心研究问题聚焦于大规模健康网络搜索引擎的用户行为建模与相关性评估。该数据集基于真实用户日志构建,旨在弥补传统医疗搜索评测中缺乏大规模、细粒度交互数据的不足,为排序模型训练和评估提供了超过十万条查询及近百万条相关性判断,显著推动了健康信息检索领域从实验室环境向真实应用场景的跨越。其影响力不仅体现在为学术研究提供了基准资源,更促进了跨学科合作,成为连接自然语言处理与临床信息学的重要桥梁。
当前挑战
TripClick数据集所面临的挑战首先体现在领域问题的复杂性上:医疗健康搜索中的用户查询往往涉及专业术语、同义词歧义及紧急程度差异,传统检索模型难以精准捕捉用户真实意图,亟需开发能够理解医学语义和上下文依赖的深度排序算法。其次,在数据集构建过程中,研究者需克服用户日志中噪声数据的清洗难题,例如处理点击偏差、位置偏见以及不完整会话记录,同时需在保护用户隐私的前提下提取有效特征。此外,如何平衡大规模数据带来的计算开销与模型训练效率,以及确保跨语言或跨机构场景下的泛化能力,亦是当前亟需突破的技术瓶颈。
常用场景
经典使用场景
在信息检索与健康搜索领域,TripClick训练集躯干部分(torso)作为TripClick数据集的核心子集,承载着来自大型健康搜索引擎的真实用户查询日志。该数据集被广泛用于训练和评估基于文本的检索模型,尤其是在处理大规模、长尾查询分布时。其经典使用场景包括构建对话式健康信息检索系统、优化查询重写与扩展策略,以及验证神经检索模型在真实临床环境下的鲁棒性。研究者常利用其海量查询-文档相关性标注(qrels)来微调预训练语言模型,使其能精准捕捉医学术语与用户意图之间的语义关联。
解决学术问题
该数据集解决了健康信息检索领域长期面临的标注数据匮乏与查询分布偏差问题。传统基准如MS MARCO或TREC健康数据集多源自受控实验环境,而TripClick躯干部分提供了近十万条真实用户查询,覆盖常见到罕见病症的广泛需求。它使得研究者能够系统性地探究检索模型在处理高噪声、短文本查询时的性能瓶颈,并验证排序算法在医疗场景下的公平性与可信度。这一资源推动了从实验室评估到真实世界部署的范式转变,为构建可解释、低延迟的医疗检索系统奠定了数据基础。
衍生相关工作
基于该数据集衍生了一系列开创性工作,包括Rekabsaz等人提出的TripClick原始论文(SIGIR 2021),首次系统分析了健康搜索日志中的点击行为模式。后续研究如利用对比学习增强查询-文档嵌入、引入联邦学习保护用户隐私的检索框架,以及针对罕见病查询的零样本检索方法,均以该数据集为基准。这些工作不仅深化了对健康信息检索特殊性的理解,还推动了跨语言医疗检索与多模态健康数据融合等前沿方向的发展。
以上内容由遇见数据集搜集并总结生成



