EtoUbivaetMnya1997/MedXpertQA-Exam

---
license: cc-by-4.0
task_categories:
- text-retrieval
language:
- en
tags:
- medical-retrieval
pretty_name: R2MED Benchmark
size_categories:
- 10M<n<100M
configs:
- config_name: qrels
data_files:
- split: qrels
path: qrels.jsonl
- config_name: corpus
data_files:
- split: corpus
path: corpus.jsonl
- config_name: query
data_files:
- split: query
path: query.jsonl
- config_name: hyde
data_files:
- split: gpt4
path: hyde/gpt4/query_with_hydoc.jsonl
- split: huatuo_o1_70b
path: hyde/huatuo-o1-70b/query_with_hydoc.jsonl
- split: llama_70b
path: hyde/llama-70b/query_with_hydoc.jsonl
- split: o3_mini
path: hyde/o3-mini/query_with_hydoc.jsonl
- split: qwen_7b
path: hyde/qwen-7b/query_with_hydoc.jsonl
- split: qwen_32b
path: hyde/qwen-32b/query_with_hydoc.jsonl
- split: qwen_72b
path: hyde/qwen-72b/query_with_hydoc.jsonl
- split: qwq_32b
path: hyde/qwq-32b/query_with_hydoc.jsonl
- split: r1_llama_70b
path: hyde/r1-llama-70b/query_with_hydoc.jsonl
- split: r1_qwen_32b
path: hyde/r1-qwen-32b/query_with_hydoc.jsonl
- config_name: query2doc
data_files:
- split: gpt4
path: query2doc/gpt4/query_with_hydoc.jsonl
- split: qwen_7b
path: query2doc/qwen-7b/query_with_hydoc.jsonl
- split: qwen_72b
path: query2doc/qwen-72b/query_with_hydoc.jsonl
- config_name: lamer
data_files:
- split: gpt4
path: lamer/gpt4/query_with_hydoc.jsonl
- split: qwen_7b
path: lamer/qwen-7b/query_with_hydoc.jsonl
- split: qwen_72b
path: lamer/qwen-72b/query_with_hydoc.jsonl
- config_name: search-r1
data_files:
- split: qwen_3b_ins
path: search-r1/qwen-3b-ins/query_with_hydoc.jsonl
- split: qwen_7b_ins
path: search-r1/qwen-7b-ins/query_with_hydoc.jsonl
- config_name: search-o1
data_files:
- split: qwq_32b
path: search-o1/qwq-32b/query_with_hydoc.jsonl
- split: qwen3_32b
path: search-o1/qwen3-32b/query_with_hydoc.jsonl
---

## 🔭 Overview

### R2MED: First Reasoning-Driven Medical Retrieval Benchmark

**R2MED** is a high-quality, high-resolution synthetic information retrieval (IR) dataset designed for medical scenarios. It contains 876 queries with three retrieval tasks, five medical scenarios, and twelve body systems.

| Dataset | #Q | #D | Avg. Pos | Q-Len | D-Len |
|:-------------------------------|:--------:|:--------:|:--------:|:--------:|:--------:|
| [Biology](https://huggingface.co/datasets/R2MED/Biology) | 103 | 57359 | 3.6 | 115.2 | 83.6 |
| [Bioinformatics](https://huggingface.co/datasets/R2MED/Bioinformatics) | 77 | 47473 | 2.9 | 273.8 | 150.5 |
| [Medical Sciences](https://huggingface.co/datasets/R2MED/Medical-Sciences) | 88 | 34810 | 2.8 | 107.1 | 122.7 |
| [MedXpertQA-Exam](https://huggingface.co/datasets/R2MED/MedXpertQA-Exam) | 97 | 61379 | 3.0 | 233.2 | 154.9 |
| [MedQA-Diag](https://huggingface.co/datasets/R2MED/MedQA-Diag) | 118 | 56250 | 4.4 | 167.8 | 179.7 |
| [PMC-Treatment](https://huggingface.co/datasets/R2MED/PMC-Treatment) | 150 | 28954 | 2.1 | 449.3 | 149.3 |
| [PMC-Clinical](https://huggingface.co/datasets/R2MED/PMC-Clinical) | 114 | 60406 | 2.2 | 182.8 | 480.4 |
| [IIYi-Clinical](https://huggingface.co/datasets/R2MED/IIYi-Clinical) | 129 | 10449 | 3.5 | 602.3 | 1273.0 |

## 🏆 Leaderboard
You could check out the results at [Leaderboard](https://r2med.github.io/#leaderboard).

## 🔗 GitHub
Github link [R2MED](https://github.com/R2MED/R2MED)

## 🏠 Homepage
Homepage link [R2MED](https://r2med.github.io/)

## 📄 Paper
Paper link [arXiv](https://arxiv.org/abs/2505.14558)

许可协议：CC-BY-4.0
任务类别：
- 文本检索（text-retrieval）
语言：
- 英语（en）
标签：
- 医疗检索（medical-retrieval）
数据集展示名：R2MED基准测试集（R2MED Benchmark）
样本规模区间：
- 1000万 < 样本数 < 1亿
配置项：
- 配置项名称：相关性判断集（qrels）
数据文件：
- 拆分：qrels
文件路径：qrels.jsonl
- 配置项名称：文档语料库（corpus）
数据文件：
- 拆分：corpus
文件路径：corpus.jsonl
- 配置项名称：查询集（query）
数据文件：
- 拆分：query
文件路径：query.jsonl
- 配置项名称：hyde
数据文件：
- 拆分：GPT-4
文件路径：hyde/gpt4/query_with_hydoc.jsonl
- 拆分：huatuo-o1-70b
文件路径：hyde/huatuo-o1-70b/query_with_hydoc.jsonl
- 拆分：llama-70b
文件路径：hyde/llama-70b/query_with_hydoc.jsonl
- 拆分：o3-mini
文件路径：hyde/o3-mini/query_with_hydoc.jsonl
- 拆分：qwen-7b
文件路径：hyde/qwen-7b/query_with_hydoc.jsonl
- 拆分：qwen-32b
文件路径：hyde/qwen-32b/query_with_hydoc.jsonl
- 拆分：qwen-72b
文件路径：hyde/qwen-72b/query_with_hydoc.jsonl
- 拆分：qwq-32b
文件路径：hyde/qwq-32b/query_with_hydoc.jsonl
- 拆分：r1-llama-70b
文件路径：hyde/r1-llama-70b/query_with_hydoc.jsonl
- 拆分：r1-qwen-32b
文件路径：hyde/r1-qwen-32b/query_with_hydoc.jsonl
- 配置项名称：query2doc
数据文件：
- 拆分：GPT-4
文件路径：query2doc/gpt4/query_with_hydoc.jsonl
- 拆分：qwen-7b
文件路径：query2doc/qwen-7b/query_with_hydoc.jsonl
- 拆分：qwen-72b
文件路径：query2doc/qwen-72b/query_with_hydoc.jsonl
- 配置项名称：lamer
数据文件：
- 拆分：GPT-4
文件路径：lamer/gpt4/query_with_hydoc.jsonl
- 拆分：qwen-7b
文件路径：lamer/qwen-7b/query_with_hydoc.jsonl
- 拆分：qwen-72b
文件路径：lamer/qwen-72b/query_with_hydoc.jsonl
- 配置项名称：search-r1
数据文件：
- 拆分：qwen-3b-ins
文件路径：search-r1/qwen-3b-ins/query_with_hydoc.jsonl
- 拆分：qwen-7b-ins
文件路径：search-r1/qwen-7b-ins/query_with_hydoc.jsonl
- 配置项名称：search-o1
数据文件：
- 拆分：qwq-32b
文件路径：search-o1/qwq-32b/query_with_hydoc.jsonl
- 拆分：qwen3-32b
文件路径：search-o1/qwen3-32b/query_with_hydoc.jsonl

## 🔭 总览

### R2MED：首个推理驱动型医疗检索基准测试集

**R2MED** 是一款专为医疗场景设计的高质量、精细化合成信息检索（Information Retrieval, IR）数据集，涵盖876条查询语句，包含三类检索任务、五类医疗场景与十二个人体系统。

| 数据集 | 查询数 | 文档数 | 平均位次 | 查询平均长度 | 文档平均长度 |
|:-------------------------------|:--------:|:--------:|:--------:|:--------:|:--------:|
| 生物学（Biology） | 103 | 57359 | 3.6 | 115.2 | 83.6 |
| 生物信息学（Bioinformatics） | 77 | 47473 | 2.9 | 273.8 | 150.5 |
| 医学科学（Medical Sciences） | 88 | 34810 | 2.8 | 107.1 | 122.7 |
| MedXpertQA-Exam | 97 | 61379 | 3.0 | 233.2 | 154.9 |
| MedQA-Diag | 118 | 56250 | 4.4 | 167.8 | 179.7 |
| PMC-Treatment | 150 | 28954 | 2.1 | 449.3 | 149.3 |
| PMC-Clinical | 114 | 60406 | 2.2 | 182.8 | 480.4 |
| IIYi-Clinical | 129 | 10449 | 3.5 | 602.3 | 1273.0 |

## 🏆 排行榜
您可通过[排行榜链接](https://r2med.github.io/#leaderboard)查看评测结果。

## 🔗 GitHub
项目仓库链接 [R2MED](https://github.com/R2MED/R2MED)

## 🏠 项目主页
项目主页链接 [R2MED](https://r2med.github.io/)

## 📄 相关论文
论文链接 [arXiv](https://arxiv.org/abs/2505.14558)