BeIR/dbpedia-entity-qrels

BEIR Benchmark是一个异构的基准测试，由18个不同的数据集组成，代表了9种信息检索任务。这些任务包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引文预测、推文检索和实体检索。所有数据集都经过预处理，可以用于实验。数据集的结构包括corpus、queries和qrels文件，分别用于存储文档、查询和查询与文档的相关性判断。所有任务均为英文。

原始信息汇总

数据集概述

数据集名称

• 名称: BEIR Benchmark
• 别名: BEIR
• paperswithcode_id: beir

数据集属性

• 语言: 英语 (en)
• 许可证: cc-by-sa-4.0
• 多语言性: 单语

数据集大小

• msmarco: 1M<n<10M
• trec-covid: 100k<n<1M
• nfcorpus: 1K<n<10K
• nq: 1M<n<10M
• hotpotqa: 1M<n<10M
• fiqa: 10K<n<100K
• arguana: 1K<n<10K
• touche-2020: 100K<n<1M
• cqadupstack: 100K<n<1M
• quora: 100K<n<1M
• dbpedia: 1M<n<10M
• scidocs: 10K<n<100K
• fever: 1M<n<10M
• climate-fever: 1M<n<10M
• scifact: 1K<n<10K

支持的任务

• 任务类别:
  • 文本检索
  • 零样本检索
  • 信息检索
  • 零样本信息检索
• 任务ID:
  • 段落检索
  • 实体链接检索
  • 事实检查检索
  • 推文检索
  • 引用预测检索
  • 重复问题检索
  • 论点检索
  • 新闻检索
  • 生物医学信息检索
  • 问答检索

数据集结构

• 数据实例格式:
  • corpus: .jsonl 文件，包含文档标题和文本
  • queries: .jsonl 文件，包含查询文本
  • qrels: .tsv 文件，包含查询与文档的关联分数

数据集创建

• 许可证信息: cc-by-sa-4.0

• 引用信息:

  @inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }

贡献者

• 贡献者: @Nthakur20