income/trec-news-top-20-gen-queries

BEIR基准数据集是一个异构基准，由18个不同的数据集组成，代表了9个信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引文预测、推文检索和实体检索。该数据集是单语（英语）的，采用CC-BY-SA-4.0许可证。数据集结构包括语料库、查询和相关判断文件，每个文件都有特定的格式和字段。

原始信息汇总

数据集概述

名称: BEIR Benchmark

描述: BEIR是一个异构基准，由18个不同数据集组成，涵盖9种信息检索任务。

语言: 英语 (en)

许可证: CC-BY-SA-4.0

多语言性: 单语

数据集大小:

• msmarco: 1M<n<10M
• trec-covid: 100k<n<1M
• nfcorpus: 1K<n<10K
• nq: 1M<n<10M
• hotpotqa: 1M<n<10M
• fiqa: 10K<n<100K
• arguana: 1K<n<10K
• touche-2020: 100K<n<1M
• cqadupstack: 100K<n<1M
• quora: 100K<n<1M
• dbpedia: 1M<n<10M
• scidocs: 10K<n<100K
• fever: 1M<n<10M
• climate-fever: 1M<n<10M
• scifact: 1K<n<10K

数据集结构

数据格式:

• corpus: .jsonl 文件，包含文档ID、标题和文本。
• queries: .jsonl 文件，包含查询ID和文本。
• qrels: .tsv 文件，包含查询ID、文档ID和相关性评分。

数据实例:

• corpus: 文档ID、标题和文本。
• queries: 查询ID和文本。
• qrels: 查询ID、文档ID和相关性评分。

数据集创建

源数据:

• 包含多个子数据集，如MSMARCO、TREC-COVID等。

许可证信息:

• 引用信息: 使用时需引用相关论文。

使用注意事项

社会影响: 数据集用于评估信息检索模型，可能影响相关技术的发展。

偏见讨论: 数据集可能存在语言和文化偏见，使用时需注意。

其他已知限制: 数据集可能不包含所有可能的查询和文档组合，可能影响评估结果。