ZhuofengLi/ir-eval-benchmark

---
configs:
- config_name: 2wikimultihopqa
data_files:
- split: test
path: data/2wikimultihopqa/test.jsonl
- config_name: bamboogle
data_files:
- split: test
path: data/bamboogle/test.jsonl
- config_name: beir_arguana
data_files:
- split: test
path: data/beir_arguana/test.jsonl
- config_name: beir_fiqa
data_files:
- split: test
path: data/beir_fiqa/test.jsonl
- config_name: beir_nfcorpus
data_files:
- split: test
path: data/beir_nfcorpus/test.jsonl
- config_name: beir_scidocs
data_files:
- split: test
path: data/beir_scidocs/test.jsonl
- config_name: beir_scifact
data_files:
- split: test
path: data/beir_scifact/test.jsonl
- config_name: beir_trec-covid
data_files:
- split: test
path: data/beir_trec-covid/test.jsonl
- config_name: hotpotqa
data_files:
- split: test
path: data/hotpotqa/test.jsonl
- config_name: musique
data_files:
- split: test
path: data/musique/test.jsonl
- config_name: nq
data_files:
- split: test
path: data/nq/test.jsonl
- config_name: triviaqa
data_files:
- split: test
path: data/triviaqa/test.jsonl
---

# IR Eval Benchmark

Sample-50 splits for IR evaluation benchmarks.

## Subsets

- **2wikimultihopqa**: `2wikimultihopqa_dev_sample50.jsonl`
- **bamboogle**: `bamboogle_test_sample50.jsonl`
- **beir_arguana**: `beir_arguana_sample50.jsonl`
- **beir_fiqa**: `beir_fiqa_sample50.jsonl`
- **beir_nfcorpus**: `beir_nfcorpus_sample50.jsonl`
- **beir_scidocs**: `beir_scidocs_sample50.jsonl`
- **beir_scifact**: `beir_scifact_sample50.jsonl`
- **beir_trec-covid**: `beir_trec-covid_sample50.jsonl`
- **hotpotqa**: `hotpotqa_dev_sample50.jsonl`
- **musique**: `musique_dev_sample50.jsonl`
- **nq**: `nq_test_sample50.jsonl`
- **triviaqa**: `triviaqa_test_sample50.jsonl`

配置项：
- 配置名称：2wikimultihopqa
数据文件：
- 拆分：测试集
路径：data/2wikimultihopqa/test.jsonl
- 配置名称：bamboogle
数据文件：
- 拆分：测试集
路径：data/bamboogle/test.jsonl
- 配置名称：beir_arguana
数据文件：
- 拆分：测试集
路径：data/beir_arguana/test.jsonl
- 配置名称：beir_fiqa
数据文件：
- 拆分：测试集
路径：data/beir_fiqa/test.jsonl
- 配置名称：beir_nfcorpus
数据文件：
- 拆分：测试集
路径：data/beir_nfcorpus/test.jsonl
- 配置名称：beir_scidocs
数据文件：
- 拆分：测试集
路径：data/beir_scidocs/test.jsonl
- 配置名称：beir_scifact
数据文件：
- 拆分：测试集
路径：data/beir_scifact/test.jsonl
- 配置名称：beir_trec-covid
数据文件：
- 拆分：测试集
路径：data/beir_trec-covid/test.jsonl
- 配置名称：hotpotqa
数据文件：
- 拆分：测试集
路径：data/hotpotqa/test.jsonl
- 配置名称：musique
数据文件：
- 拆分：测试集
路径：data/musique/test.jsonl
- 配置名称：nq
数据文件：
- 拆分：测试集
路径：data/nq/test.jsonl
- 配置名称：triviaqa
数据文件：
- 拆分：测试集
路径：data/triviaqa/test.jsonl

# 信息检索（Information Retrieval, IR）评估基准

本数据集为面向信息检索评估基准的50样本拆分集。

## 子集
- **2wikimultihopqa**：对应数据文件为 `2wikimultihopqa_dev_sample50.jsonl`
- **bamboogle**：对应数据文件为 `bamboogle_test_sample50.jsonl`
- **beir_arguana**：对应数据文件为 `beir_arguana_sample50.jsonl`
- **beir_fiqa**：对应数据文件为 `beir_fiqa_sample50.jsonl`
- **beir_nfcorpus**：对应数据文件为 `beir_nfcorpus_sample50.jsonl`
- **beir_scidocs**：对应数据文件为 `beir_scidocs_sample50.jsonl`
- **beir_scifact**：对应数据文件为 `beir_scifact_sample50.jsonl`
- **beir_trec-covid**：对应数据文件为 `beir_trec-covid_sample50.jsonl`
- **hotpotqa**：对应数据文件为 `hotpotqa_dev_sample50.jsonl`
- **musique**：对应数据文件为 `musique_dev_sample50.jsonl`
- **nq**：对应数据文件为 `nq_test_sample50.jsonl`
- **triviaqa**：对应数据文件为 `triviaqa_test_sample50.jsonl`