mteb/arguana

ArguAna是一个用于医学信息检索的全文本学习排名数据集，包含三个配置：default、corpus和queries。它被用于评估文本嵌入模型，特别是在MTEB（Massive Text Embedding Benchmark）框架下。数据集由8674个文档和1406个查询组成，适用于文本检索任务。

ArguAna is a full-text learning to rank dataset for medical information retrieval, containing three configurations: default, corpus, and queries. It is used to evaluate text embedding models, especially within the MTEB (Massive Text Embedding Benchmark) framework. The dataset consists of 8674 documents and 1406 queries, suitable for text retrieval tasks.

原始信息汇总

数据集概述

语言和多语言性

• 语言: 英语
• 多语言性: 单语种

任务类别和任务ID

• 任务类别: 文本检索
• 任务ID: 文档检索

配置名称和特征

• 配置名称: default

  • 特征:
    • 名称: query-id
      • 数据类型: string
    • 名称: corpus-id
      • 数据类型: string
    • 名称: score
      • 数据类型: float64
  • 分割:
    • 名称: test
      • 字节数: 111736
      • 样本数: 1406

• 配置名称: corpus

  • 特征:
    • 名称: _id
      • 数据类型: string
    • 名称: title
      • 数据类型: string
    • 名称: text
      • 数据类型: string
  • 分割:
    • 名称: corpus
      • 字节数: 9388094
      • 样本数: 8674

• 配置名称: queries

  • 特征:
    • 名称: _id
      • 数据类型: string
    • 名称: text
      • 数据类型: string
  • 分割:
    • 名称: queries
      • 字节数: 1743698
      • 样本数: 1406

配置和数据文件

• 配置名称: default

  • 数据文件:
    • 分割: test
      • 路径: qrels/test.jsonl

• 配置名称: corpus

  • 数据文件:
    • 分割: corpus
      • 路径: corpus.jsonl

• 配置名称: queries

  • 数据文件:
    • 分割: queries
      • 路径: queries.jsonl

搜集汇总

数据集介绍

构建方式

ArguAna数据集源自ACL会议论文《Retrieval of the Best Counterargument without Prior Topic Knowledge》，由MTEB基准平台进行二次加工与标准化处理。该数据集聚焦于文本检索任务，旨在评估模型在无先验主题知识条件下检索最佳反驳论点的能力。构建过程中，研究者从网络与社会书写语料中采集论辩文本，构建了包含8674篇文档的语料库以及1406条查询，每条查询对应唯一的最佳反驳文档。数据以JSONL格式存储，划分为corpus、queries和default三个配置，其中default配置包含查询-文档对的匹配评分，形成完整的检索评估体系。

特点

ArguAna数据集具有鲜明的论辩推理特色，其核心特点在于检索任务的高度语义化与专一性。每个查询仅对应一个相关文档，平均文本长度达千余字符，体现了论辩文本的复杂性与深度。语料库涵盖社会与网络书写领域，文档与查询均包含标题和正文，保留了原始论辩结构。数据集统计显示，测试集包含10080个样本，文档平均长度约1030字符，查询平均长度约1193字符，且相关文档唯一性确保了评估的精确性。这些特性使其成为评估嵌入模型在细粒度语义匹配与反事实推理能力的理想测试平台。

使用方法

使用ArguAna数据集进行评估需借助MTEB框架。首先通过mteb.get_task('ArguAna')加载任务，随后实例化MTEB评估器并传入待评估的嵌入模型。调用evaluator.run(model)即可自动完成检索性能的度量。数据集提供了corpus.jsonl、queries.jsonl和qrels/test.jsonl三个数据文件，分别存储文档库、查询集及相关性标注。开发者可直接加载这些JSONL文件进行自定义评估，或利用MTEB内置的标准化接口快速集成，实现模型在论辩检索任务上的性能对比与基准测试。

背景与挑战

背景概述

在自然语言处理与信息检索的交叉领域中，如何精准地从海量文本中定位最具说服力的反驳论点，始终是一项极具挑战性的课题。为此，Henning Wachsmuth、Shahbaz Syed与Benno Stein于2018年在ACL会议上提出了ArguAna数据集，旨在解决无先验主题知识条件下的最佳反驳论点检索问题。该数据集由德国魏玛包豪斯大学等机构的研究人员主导构建，其核心研究问题在于评估模型能否仅凭论点本身的语义关联性，而非依赖外部主题标签，实现高质量的反驳匹配。作为大规模文本嵌入基准（MTEB）的重要组成部分，ArguAna为论证检索领域提供了标准化的评测平台，显著推动了论证挖掘与文本表示学习的发展。

当前挑战

ArguAna数据集所面临的挑战主要体现在两个层面。在领域问题层面，其核心任务是实现无主题先验知识的反驳论点检索，这要求模型具备超越浅层语义匹配的深层论证结构理解能力，能够识别论点间的逻辑对立与支持关系，而非简单基于词汇重叠或主题相似性进行排序。在数据集构建层面，挑战源于论证文本的高度专业性与结构性，需要人工标注者精准界定何为‘最佳’反驳，这一过程不仅耗时且存在主观性差异。此外，语料库中每条查询仅对应一个相关文档的严格设定，增加了模型在稀疏监督信号下学习的难度，对检索算法的鲁棒性与泛化能力提出了更高要求。

常用场景

经典使用场景

ArguAna数据集专为文本检索任务而设计，其核心应用场景在于从海量论点库中精准定位与给定查询最匹配的反驳论据。该数据集聚焦于论证检索领域，要求模型能够在缺乏先验主题知识的情况下，从8674篇论证文本中为1406个查询找到唯一的最佳反驳。这一设定模拟了真实辩论场景中快速获取对立观点的需求，是评估文本嵌入模型语义理解与细粒度匹配能力的经典基准。

解决学术问题

该数据集解决了论证挖掘与检索领域中一个关键学术难题：如何在没有明确主题标签的条件下，实现反驳论据的精准检索。传统方法多依赖主题分类或关键词匹配，而ArguAna则推动研究转向语义级别的论证关系建模。它促使学界探索更优的文本表示学习策略，以捕捉论证间的对立性与逻辑关联，进而提升检索系统在复杂语义场景下的鲁棒性与准确性，为论证计算与自然语言推理的交叉研究提供了重要支撑。

衍生相关工作

ArguAna数据集催生了一系列经典研究工作，其中最典型的是Wachsmuth等人（2018）在ACL上提出的原始检索方法，该工作奠定了无主题先验知识下反驳论据检索的理论基础。此外，作为MTEB基准的核心任务之一，ArguAna被广泛用于评估新一代文本嵌入模型，如Sentence-BERT及其变体，推动了密集检索与对比学习在论证领域的应用。后续研究还基于此数据集探索了跨领域论证检索与多语言论证表示学习等方向，持续拓展其学术影响力。