C-MTEB/CMedQAv1-reranking

--- configs: - config_name: default data_files: - split: test path: data/test-* dataset_info: features: - name: query dtype: string - name: positive sequence: string - name: negative sequence: string splits: - name: test num_bytes: 31879155 num_examples: 1000 download_size: 20670061 dataset_size: 31879155 --- # Dataset Card for "CMedQAv1-reranking" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)--- 配置项: - 配置名称（config_name）: default 数据文件（data_files）: - 拆分集（split）: test 路径（path）: data/test-* 数据集信息（dataset_info）: 特征字段（features）: - 字段名（name）: 查询语句（query） 数据类型（dtype）: string - 字段名（name）: 正例样本（positive） 序列类型（sequence）: string - 字段名（name）: 负例样本（negative） 序列类型（sequence）: string 拆分集（splits）: - 字段名（name）: test 字节数（num_bytes）: 31879155 样本数量（num_examples）: 1000 下载大小（download_size）: 20670061 数据集总大小（dataset_size）: 31879155 --- # 「CMedQAv1-reranking」数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

配置信息

• 配置名称: default
• 数据文件:
  • 分割: test
  • 路径: data/test-*

数据集特征

• 名称: query
  • 数据类型: string
• 名称: positive
  • 数据类型: string
  • 序列类型: string
• 名称: negative
  • 数据类型: string
  • 序列类型: string

数据集分割

• 分割名称: test
  • 字节数: 31879155
  • 示例数量: 1000

数据集大小

• 下载大小: 20670061
• 数据集总大小: 31879155

搜集汇总

数据集介绍

构建方式

CMedQAv1-reranking数据集源于中文医疗问答领域，旨在为检索重排序任务提供高质量的评测基准。其构建依托于CMedQAv1原始语料，通过精心设计的数据筛选与标注流程，最终形成包含1000个测试样本的集合。每个样本由一条查询、一组相关文本（正例）以及一组不相关文本（负例）构成，其中正例与负例均以字符串序列形式存储，确保了数据在重排序场景下的典型性与实用性。

特点

该数据集的核心特点在于其明确的检索重排序导向性，聚焦于中文医疗信息检索中的相关性判别。正例与负例的配对设计使得模型能够学习区分细微的相关性差异，而查询与候选文档的对应关系则模拟了真实检索场景。此外，数据规模虽精简，但每例均包含多条正负样本，增强了训练的丰富性；同时，仅设测试集的分割方式暗示其主要用于评估而非训练，凸显了作为基准测试的严谨性。

使用方法

使用CMedQAv1-reranking数据集时，研究者通常将其嵌入检索重排序模型的评估流程中。具体而言，可先利用查询与候选集（正负例混合）生成初始排序，再通过模型对每对查询-文档进行相关性打分，并依据分数重排。评估指标如NDCG、MAP或MRR可衡量重排序效果。该数据集兼容HuggingFace的datasets库，通过指定split为'test'即可加载，便于快速集成至现有实验框架。

背景与挑战

背景概述

在自然语言处理与信息检索的交叉领域，中文医疗问答系统的精确排序能力一直是研究的热点与难点。CMedQAv1-reranking数据集由国内研究团队构建，旨在填补中文医疗场景下重排序任务评估资源的空白。该数据集聚焦于医疗问答对的相关性排序，通过提供查询与正负例样本，为模型在细粒度语义匹配上的性能评测奠定基础。自发布以来，它已成为中文医疗信息检索领域的重要基准，推动着从基础检索到精准排序的技术演进，对提升医疗知识服务的智能化水平具有深远影响。

当前挑战

该数据集所面临的挑战主要源于医疗领域的高度专业性与语义复杂性。首先，医疗问答涉及大量专业术语与同义表达，模型需具备跨术语的语义理解能力，以区分细微的相关性差异，这对传统排序模型构成根本性考验。其次，数据集构建过程中，正负例的准确标注极为困难，需要医学专家介入以确保标签的可靠性，而专家资源的稀缺性与标注一致性维护是主要瓶颈。此外，医疗场景下查询的多样性（如症状描述、药物咨询）与答案的异构性（如文本、结构化信息）进一步加剧了排序任务的难度，要求模型具备多模态融合与领域自适应能力。

常用场景

经典使用场景

在信息检索与自然语言处理领域，CMedQAv1-reranking数据集作为中文医疗问答重排序任务的标杆资源，被广泛用于评估和训练模型对候选答案进行精准排序的能力。该数据集包含1000条测试样本，每条样本由一个问题（query）、一组正例答案（positive）和一组负例答案（negative）构成，其核心应用场景在于模拟真实医疗场景下从多个潜在答案中筛选最优回答的过程。研究者常利用该数据集对预训练语言模型进行微调，使其能够根据问题与答案间的语义匹配度，对候选列表进行重排序，从而提升检索系统的最终回答质量。

解决学术问题

该数据集解决了中文医疗问答领域中缺乏标准化重排序评测基准的痛点。以往研究多依赖通用域数据集或小规模人工标注，难以反映医疗场景下专业术语密集、语义歧义性高的特点。CMedQAv1-reranking通过提供结构化的正负例对，使学术界能够系统性地探究排序模型在医学信息检索中的泛化能力。其发布推动了跨模态语义匹配、对比学习以及排序损失函数优化等方向的发展，为衡量模型在医疗知识理解与细粒度排序上的表现提供了可靠标尺。

衍生相关工作

基于CMedQAv1-reranking，研究者衍生出多项经典工作。例如，有工作引入对比学习框架，通过构造更精细的正负样本对来增强排序模型的判别力；另有研究探索将领域知识图谱嵌入重排序过程，利用实体关系约束提升排序的医学合理性。此外，该数据集常与CMedQA系列其他子集（如CMedQAv1-问答对）联合使用，形成从检索到排序的完整评测流水线。这些衍生工作不仅深化了对中文医疗文本排序问题的理解，也为多语言医疗信息检索系统的设计提供了参考范式。