GEO-Optim/geo-bench

Geo-Bench是一个全面的基准数据集，旨在评估内容优化方法和生成引擎。它包含10,000个查询，这些查询来源于多个真实世界和合成的查询，专门为生成引擎优化而设计。数据集中的查询来自九个不同的来源，每个查询根据其目标领域、难度级别、查询意图和其他维度进一步分类。数据集还提供了基于Google搜索结果的5个清理后的HTML响应。

原始信息汇总

Geo-Bench 数据集概述

数据集描述

Geo-Bench 是一个综合性的基准数据集，专为评估内容优化方法和生成引擎设计。该数据集包含10,000个查询，这些查询来源于多个真实世界和合成生成的查询，特别为生成引擎精心策划和重新利用。基准包括来自九个不同来源的查询，每个查询根据其目标领域、难度级别、查询意图和其他维度进一步分类。

数据来源

Geo-Bench 数据集由以下来源的查询组成：

1. MS Macro, ORCAS-1, Natural Questions: 包含来自Bing和Google搜索引擎的真实匿名用户查询。
2. AIISouls: 包含来自“All Souls College, Oxford University”的论文问题。
3. LIMA: 包含需要生成引擎进行信息聚合和适当推理的挑战性问题。
4. Davinci-Debate: 包含为测试生成引擎而生成的辩论问题。
5. Perplexity.ai Discover: 包含来自Perplexity.ai的Discover部分的趋势查询。
6. EII-5: 包含来自ELIS subreddit的复杂问题。
7. GPT-4 Generated Queries: 使用GPT-4生成，以补充查询分布的多样性。

数据集标签

每个查询都根据以下七个类别进行标记：

• 难度级别：查询的复杂性，从简单到复杂。
• 查询性质：查询寻求的信息类型，如事实、意见或比较。
• 类别：查询的类别或领域，如艺术与娱乐、金融或科学。
• 特定主题：查询的具体主题，如物理学、经济学或计算机科学。
• 敏感性：查询是否涉及敏感话题。
• 用户意图：用户查询的目的，如研究、购买或娱乐。
• 答案类型：查询寻求的答案格式，如事实、意见或列表。

数据集使用

Geo-Bench 数据集可以通过 Python 的 datasets 库轻松加载和使用：

python import datasets

Load Geo-Bench

dataset = datasets.load_dataset("Pranjal2041/geo-bench")

数据集大小

该数据集包含8,000个训练查询，1,000个验证查询和1,000个测试查询。

许可证

Geo-Bench 数据集根据 CC BY-NC-SA 4.0 许可证发布。