irds/beir_webis-touche2020

`beir/webis-touche2020`数据集是一个用于文本检索任务的数据集，由`ir-datasets`包提供。该数据集包含以下内容：
- `docs`（文档，即语料库），数量为382,545；
- `queries`（查询，即主题），数量为49；
- `qrels`（相关性评估），数量为2,962。
该数据集可用于构建和评估信息检索模型，特别是零样本检索模型的评估。

The `beir/webis-touche2020` dataset is a benchmark dataset for text retrieval tasks, provided via the `ir-datasets` package. It contains the following components:
- `docs` (the corpus, i.e., document collection): 382,545 in total;
- `queries` (the topics, i.e., search queries): 49 in total;
- `qrels` (relevance assessment annotations): 2,962 in total.
This dataset can be utilized to develop and evaluate information retrieval models, especially for the assessment of zero-shot retrieval models.

原始信息汇总

数据集概述

数据集名称

beir/webis-touche2020

数据集来源

由ir-datasets包提供。

数据集内容

• 文档（corpus）: 共382,545个文档。
• 查询（topics）: 共49个查询。
• 相关性评估（relevance assessments）: 共2,962个相关性评估。

数据集使用示例

python from datasets import load_dataset

加载文档数据

docs = load_dataset(irds/beir_webis-touche2020, docs) for record in docs: record # {doc_id: ..., text: ..., title: ..., stance: ..., url: ...}

加载查询数据

queries = load_dataset(irds/beir_webis-touche2020, queries) for record in queries: record # {query_id: ..., text: ..., description: ..., narrative: ...}

加载相关性评估数据

qrels = load_dataset(irds/beir_webis-touche2020, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

引用信息

@inproceedings{Bondarenko2020Tuche, title={Overview of Touch{e} 2020: Argument Retrieval}, author={Alexander Bondarenko and Maik Fr{"o}be and Meriem Beloucif and Lukas Gienapp and Yamen Ajjour and Alexander Panchenko and Christian Biemann and Benno Stein and Henning Wachsmuth and Martin Potthast and Matthias Hagen}, booktitle={CLEF}, year={2020} } @article{Thakur2021Beir, title = "BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models", author = "Thakur, Nandan and Reimers, Nils and Rücklé, Andreas and Srivastava, Abhishek and Gurevych, Iryna", journal= "arXiv preprint arXiv:2104.08663", month = "4", year = "2021", url = "https://arxiv.org/abs/2104.08663", }

搜集汇总

数据集介绍

构建方式

在信息检索领域，构建高质量的数据集对于评估模型性能至关重要。beir/webis-touche2020数据集源自Touché 2020论证检索任务，其构建过程基于严谨的学术竞赛框架。该数据集通过系统收集网络文档，形成包含382,545篇文档的语料库，每篇文档均标注标题、文本内容、立场及来源链接。同时，专家设计了49个查询主题，每个查询配备详细的描述和叙述性说明，以确保查询的复杂性和多样性。相关性评估则通过人工标注完成，生成了2,962条精确的查询-文档对，为模型训练与评估提供了可靠的基础。

特点

该数据集在论证检索任务中展现出显著特点，其文档库规模庞大且覆盖广泛，每篇文档不仅包含文本信息，还标注了立场属性，这为研究论证结构和立场分析提供了多维数据支持。查询设计注重深度，每个查询均附有描述和叙述，模拟真实场景中的复杂信息需求。相关性标注细致，涵盖不同级别的相关程度，支持精细的检索性能评估。作为BEIR基准的一部分，该数据集强调零样本评估，适用于测试模型在未见领域中的泛化能力，推动了信息检索技术的跨领域应用。

使用方法

使用beir/webis-touche2020数据集时，研究人员可通过Hugging Face的datasets库便捷加载。具体操作包括分别加载文档、查询和相关性评估三个部分：使用load_dataset函数指定数据集名称和相应组件，如'docs'、'queries'或'qrels'，即可访问结构化数据。文档组件提供文档ID、文本、标题等字段；查询组件包含查询ID、文本及描述信息；相关性组件则记录查询与文档之间的关联程度。这种模块化设计便于灵活应用于检索模型训练、评估及分析，支持从基础实验到高级研究的多种场景，同时确保数据格式的统一与可重复性。

背景与挑战

背景概述

在信息检索领域，论证检索作为一项新兴任务，旨在从大规模文本集合中识别出与特定议题相关的论证性文档。`beir/webis-touche2020`数据集由Webis实验室于2020年构建，作为Touché评测任务的核心资源，其研究聚焦于如何高效检索具有说服力的论证内容，以支持决策制定与观点分析。该数据集包含超过38万份文档与49个查询，由Alexander Bondarenko等学者牵头，推动了论证检索模型从传统关键词匹配向语义理解范式的演进，对计算论证学与信息检索的交叉研究产生了深远影响。

当前挑战

论证检索任务面临的核心挑战在于，模型需超越表层语义匹配，深入理解文档的论证结构、逻辑严谨性与立场倾向性，这对自然语言处理技术提出了更高要求。在数据集构建过程中，研究人员需处理文档来源的异构性，涵盖新闻、论坛与学术文本等多种体裁，同时人工标注相关性评估时，必须平衡论证质量与主题相关性之间的微妙界限，确保评估标准的客观性与一致性。

常用场景

经典使用场景

在信息检索领域，特别是论据检索任务中，beir/webis-touche2020数据集常被用作评估检索模型性能的核心基准。该数据集源自Touché 2020竞赛，专注于从大规模文档集合中检索与复杂查询相关的论据性内容。研究者通常利用其包含的38万余篇文档和49个查询，结合精细的相关性标注，来测试模型在理解查询意图、识别文档立场及评估论据质量方面的能力。这一场景深刻体现了数据集在推动检索技术向语义理解和推理方向演进的关键作用。

衍生相关工作

围绕该数据集已衍生出一系列经典研究工作。Touché 2020竞赛本身便催生了多篇专注于论据检索的创新论文，为领域设立了初步基准。随后，BEIR基准框架将其纳入异构评估集，极大推动了检索模型的零样本评估研究。许多先进的稠密检索模型、如DPR、ANCE及基于Transformer的跨编码器，均在此数据集上进行了性能验证与比较，这些工作共同勾勒出神经信息检索技术发展的清晰脉络。

数据集最近研究

最新研究方向

在信息检索领域，beir/webis-touche2020数据集作为论证检索任务的重要基准，近年来推动了多模态与跨语言检索技术的融合探索。该数据集源自Touché 2020评测任务，专注于复杂论证性文档的检索，当前研究热点集中于利用预训练语言模型提升论证相关性识别能力，并结合事实验证与立场分析以增强检索结果的解释性与可信度。随着生成式人工智能的兴起，该数据集亦被用于评估检索增强生成系统在论证构建中的效能，促进了检索模型在开放域辩论与决策支持场景中的应用拓展，对推动可解释信息检索系统的发展具有显著意义。