mteb/cqadupstack-gis

该数据集是一个单语言（英语）的文本检索数据集，来源于cqadupstack-gis。数据集包含三个配置：default、corpus和queries。default配置用于测试，包含query-id、corpus-id和score特征；corpus配置包含_id、title和text特征，用于存储文档内容；queries配置包含_id和text特征，用于存储查询内容。

原始信息汇总

数据集概述

语言和多语言性

• 语言: 英语
• 多语言性: 单语种

任务类别和任务ID

• 任务类别: 文本检索
• 任务ID: 文档检索

配置名称和特征

• 配置名称: default

  • 特征:
    • query-id: 字符串
    • corpus-id: 字符串
    • score: float64
  • 分割:
    • 名称: test
    • 字节数: 28952
    • 样本数: 1114

• 配置名称: corpus

  • 特征:
    • _id: 字符串
    • title: 字符串
    • text: 字符串
  • 分割:
    • 名称: corpus
    • 字节数: 38750755
    • 样本数: 37637

• 配置名称: queries

  • 特征:
    • _id: 字符串
    • text: 字符串
  • 分割:
    • 名称: queries
    • 字节数: 57704
    • 样本数: 885

数据文件

• 配置名称: default

  • 分割: test
  • 路径: qrels/test.jsonl

• 配置名称: corpus

  • 分割: corpus
  • 路径: corpus.jsonl

• 配置名称: queries

  • 分割: queries
  • 路径: queries.jsonl

搜集汇总

数据集介绍

构建方式

CQADupStackGisRetrieval数据集源自CQADupStack基准数据集，专为社区问答检索任务设计。其构建基于Stack Exchange平台上的地理信息系统（GIS）子社区，通过提取用户提出的问题与对应的最佳答案，形成查询-文档对。数据集进一步经过清洗与标注，筛选出885条查询与37,637篇文档，并利用相关性判断构建了1,114个查询-文档关联对，每个查询平均关联约1.26个相关文档，确保了评估的严谨性与现实代表性。

特点

该数据集具有鲜明的领域专精特性，聚焦于GIS领域的非虚构书面文本，涵盖技术性问答内容。其规模适中但结构精巧，测试集包含38,522个样本，文档长度分布广泛，从52字符到28,938字符不等，平均长度为1,013字符，体现了内容的丰富性与复杂性。查询则相对简洁，平均长度仅52字符，凸显了社区问答中用户提问的精准性。此外，数据集以三元组格式组织，便于直接用于文本嵌入模型的评估与对比。

使用方法

使用该数据集时，研究者可通过MTEB库便捷调用。首先利用mteb.get_tasks函数加载CQADupstackGisRetrieval任务，随后实例化MTEB评估器。通过将预训练的嵌入模型传入evaluator.run方法，即可自动完成检索性能的评测。数据集提供了corpus、queries和qrels三个配置文件，分别对应文档库、查询集与相关性标注，支持标准的检索评估流程，如计算NDCG、MAP等指标，适用于社区问答系统的效果验证与模型选型。

背景与挑战

背景概述

在信息检索与自然语言处理领域，社区问答（CQA）平台如Stack Exchange积累了海量知识，如何高效地从这些非结构化文本中检索出与用户问题高度相关的答案，成为一项关键研究课题。CQADupStackGisRetrieval数据集由Doris Hoogeveen、Karin M. Verspoor和Timothy Baldwin于2015年创建，源自澳大利亚墨尔本大学，聚焦于地理信息系统（GIS）子社区。该数据集旨在为社区问答中的文本检索任务提供标准化评测基准，其核心研究问题在于评估模型在跨领域知识库中识别重复或相关问题与答案的能力。作为Massive Text Embedding Benchmark（MTEB）的一部分，该数据集通过提供885个查询与37637篇文档的配对，推动了文本嵌入模型在专业领域检索性能的量化比较，对信息检索和嵌入学习领域产生了深远影响。

当前挑战

CQADupStackGisRetrieval数据集面临的核心挑战在于解决社区问答中查询与文档间语义匹配的精确性问题。具体而言，领域内查询常涉及专业术语与地理空间概念，模型需克服词汇鸿沟，准确捕捉隐含关联，例如将“如何计算缓冲区”与“缓冲区分析工具”链接。此外，数据集构建过程中遭遇了标注稀疏性的挑战：平均每个查询仅有1.26个相关文档，且最长文档达28938字符，导致模型在长文本上下文建模与负样本学习上易出现偏差。同时，从Stack Exchange原始数据中提取高质量问答对时，需处理噪声标签（如用户标记的重复问题可能不完整）和跨语言表达差异，进一步增加了检索任务的难度。

常用场景

经典使用场景

作为社区问答检索领域的经典基准数据集，CQADupstackGis专注于地理信息系统（GIS）子论坛的问答对匹配任务。其核心应用场景在于评估文本嵌入模型在稀疏标注、噪声环境下的检索性能，通过构建查询与候选答案之间的相关性排序，衡量模型对专业领域语义相似性的捕捉能力。数据集包含37637篇文档与885条查询，平均查询长度仅52字符，凸显了短文本检索的挑战性。研究者常将其用于训练和验证跨领域文本表示学习算法，尤其在处理高度专业化术语和隐式上下文关联时，该数据集提供了极具代表性的测试平台。

衍生相关工作

基于CQADupstackGis衍生出一系列推动文本检索领域发展的经典工作。其中，MTEB（Massive Text Embedding Benchmark）将其纳入多语言嵌入评估框架，系统对比了不同预训练模型在社区问答检索任务上的表现。后续研究如SimCSE与Contriever利用该数据集验证了对比学习框架在短文本匹配中的有效性，而SPLADE等稀疏检索模型则借助其标注数据优化了词项权重分配策略。此外，MMTEB项目进一步扩展了该数据集的多语言版本，探索了跨语言语义对齐能力。这些工作共同确立了CQADupstackGis作为检索领域标准评估集的核心地位，持续驱动着文本嵌入技术的迭代演进。

数据集最近研究

最新研究方向

CQADupstackGisRetrieval数据集聚焦于地理信息系统（GIS）领域的社区问答检索任务，其最新研究方向紧密围绕大规模文本嵌入基准（MTEB）框架下的多语言与跨领域语义匹配。随着检索增强生成（RAG）技术的兴起，该数据集被广泛用于评估嵌入模型在专业垂直领域（如GIS）中识别技术问题与解决方案的精准度。前沿研究关注如何通过对比学习与硬负样本挖掘，提升模型对社区问答中隐含领域术语和上下文关联性的表征能力，从而推动检索系统在复杂技术场景下的鲁棒性。该数据集的持续演进不仅为信息检索领域提供了细粒度的评测标准，也间接促进了地理信息科学知识图谱的构建与智能问答系统的落地应用。