INSAIT-Institute/triviaqa-bgeval

Name: INSAIT-Institute/triviaqa-bgeval
Creator: INSAIT-Institute
Published: 2024-02-01 16:28:38
License: 暂无描述

Hugging Face2024-02-01 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/INSAIT-Institute/triviaqa-bgeval

下载链接

链接失效反馈

官方服务：

资源简介：

--- dataset_info: features: - name: question dtype: string - name: question_id dtype: string - name: question_source dtype: string - name: entity_pages sequence: - name: doc_source dtype: string - name: filename dtype: string - name: title dtype: string - name: wiki_context dtype: string - name: search_results sequence: - name: description dtype: string - name: filename dtype: string - name: rank dtype: int32 - name: title dtype: string - name: url dtype: string - name: search_context dtype: string - name: answer struct: - name: aliases sequence: string - name: normalized_aliases sequence: string - name: matched_wiki_entity_name dtype: string - name: normalized_matched_wiki_entity_name dtype: string - name: normalized_value dtype: string - name: type dtype: string - name: value dtype: string splits: - name: validation num_bytes: 28295079 num_examples: 17944 download_size: 13929156 dataset_size: 28295079 configs: - config_name: default data_files: - split: validation path: data/validation-* ---

dataset_info: features: - name: 问题 dtype: 字符串 - name: 问题ID dtype: 字符串 - name: 问题来源 dtype: 字符串 - name: 实体页面 sequence: - name: 文档来源 dtype: 字符串 - name: 文件名 dtype: 字符串 - name: 标题 dtype: 字符串 - name: 维基上下文 dtype: 字符串 - name: 搜索结果 sequence: - name: 描述信息 dtype: 字符串 - name: 文件名 dtype: 字符串 - name: 排名 dtype: 32位整数 - name: 标题 dtype: 字符串 - name: 统一资源定位符（URL） dtype: 字符串 - name: 搜索上下文 dtype: 字符串 - name: 答案 struct: - name: 别名 sequence: 字符串 - name: 标准化别名 sequence: 字符串 - name: 匹配的维基实体名称 dtype: 字符串 - name: 标准化后的匹配维基实体名称 dtype: 字符串 - name: 标准化值 dtype: 字符串 - name: 类型 dtype: 字符串 - name: 值 dtype: 字符串 splits: - name: 验证集（validation） num_bytes: 28295079 num_examples: 17944 download_size: 13929156 dataset_size: 28295079 configs: - config_name: 默认配置（default） data_files: - split: 验证集（validation） path: data/validation-*

提供机构：

INSAIT-Institute

原始信息汇总

数据集概述

数据集特征

问题 (question)
- 数据类型: 字符串 (string)
问题ID (question_id)
- 数据类型: 字符串 (string)
问题来源 (question_source)
- 数据类型: 字符串 (string)
实体页面 (entity_pages)
- 序列特征:
  - 文档来源 (doc_source)
    - 数据类型: 字符串 (string)
  - 文件名 (filename)
    - 数据类型: 字符串 (string)
  - 标题 (title)
    - 数据类型: 字符串 (string)
  - 维基上下文 (wiki_context)
    - 数据类型: 字符串 (string)
搜索结果 (search_results)
- 序列特征:
  - 描述 (description)
    - 数据类型: 字符串 (string)
  - 文件名 (filename)
    - 数据类型: 字符串 (string)
  - 排名 (rank)
    - 数据类型: 整数 (int32)
  - 标题 (title)
    - 数据类型: 字符串 (string)
  - URL (url)
    - 数据类型: 字符串 (string)
  - 搜索上下文 (search_context)
    - 数据类型: 字符串 (string)
答案 (answer)
- 结构特征:
  - 别名 (aliases)
    - 序列类型: 字符串 (string)
  - 标准化别名 (normalized_aliases)
    - 序列类型: 字符串 (string)
  - 匹配的维基实体名称 (matched_wiki_entity_name)
    - 数据类型: 字符串 (string)
  - 标准化匹配的维基实体名称 (normalized_matched_wiki_entity_name)
    - 数据类型: 字符串 (string)
  - 标准化值 (normalized_value)
    - 数据类型: 字符串 (string)
  - 类型 (type)
    - 数据类型: 字符串 (string)
  - 值 (value)
    - 数据类型: 字符串 (string)

数据集分割

验证集 (validation)
- 字节数: 28295079
- 样本数: 17944

数据集大小

下载大小: 13929156 字节
数据集大小: 28295079 字节

配置

默认配置 (default)
- 数据文件:
  - 验证集 (validation)
    - 路径: data/validation-*

搜集汇总

数据集介绍

构建方式

在开放域问答研究领域，高质量的数据集是模型评估与改进的基石。INSAIT-Institute/triviaqa-bgeval数据集基于广受认可的TriviaQA语料库进行构建，精心保留了问答对、实体页面和搜索引擎结果等核心字段。每个样本包含问题、问题标识符与来源，关联的实体页面文档提供维基百科上下文，而搜索引擎结果则按排名收录标题、URL及搜索摘要。答案部分以结构化形式呈现，涵盖别名、归一化别名及匹配的维基实体名称，确保答案的多样性与准确性。该数据集仅包含验证集，共17944个样本，经过细致的格式整理与大小优化，便于直接用于模型性能的基准测试。

使用方法

使用该数据集进行模型评估时，研究者可便捷地通过HuggingFace Datasets库加载验证集。具体而言，利用load_dataset函数指定数据集名称与配置，即可获取包含问题、上下文及答案的结构化数据。典型用法包括：将question字段作为输入，结合entity_pages中的wiki_context或search_results中的search_context作为检索依据，驱动模型生成回答，并与answer字段中的value或aliases进行比对。该设计支持零样本评估与检索增强生成两种范式，研究者可根据需要灵活选择上下文来源，从而系统性地分析模型在事实性问答任务上的表现。

背景与挑战

背景概述

TriviaQA数据集由华盛顿大学与谷歌研究团队于2017年联合推出，旨在推动开放域问答系统的发展。该数据集以琐事问答为核心，包含超过65,000个问题-答案对，每个问题均源自网络上的真实问答，并附有来自维基百科和必应搜索的上下文文档。其独特之处在于问题与答案的分离设计，要求模型在大量文档中检索并推理正确信息，从而挑战传统问答系统的能力边界。TriviaQA已成为评估语言模型在复杂事实性问答任务中性能的基准之一，对信息检索与自然语言理解的交叉研究产生了深远影响。

当前挑战

TriviaQA所解决的领域问题在于开放域问答中多文档推理与答案验证的复杂性，模型需从海量非结构化文本中精准定位答案，并处理问题表述的多样性。构建过程中面临的挑战包括：问题来源的噪声与歧义，需确保答案的准确性与一致性；上下文文档的冗余与无关信息干扰，增加了检索难度；以及答案类型（如实体、数字、短语）的多样性，要求标注体系具备高度灵活性。此外，数据集的规模与跨领域特性对计算资源与模型泛化能力提出了严苛要求，这些挑战共同推动了更鲁棒问答架构的设计。

常用场景

经典使用场景

在开放域问答与信息检索的交叉研究领域中，INSAIT-Institute/triviaqa-bgeval数据集常被用作评估检索增强生成（RAG）系统检索质量的基准。该数据集以TriviaQA为基础，精心构建了包含问题、答案、维基实体页面及搜索结果的结构化样本，尤其适用于测试嵌入模型（如BGE系列）在复杂多跳问答场景下的语义匹配能力。研究者通过对比模型在question与search_context之间的相似度得分，精准衡量检索模块从海量文档中捕获相关证据的效率。

解决学术问题

该数据集的核心学术贡献在于解决了传统问答数据集缺乏检索上下文标注的痛点。它提供了标准化的问题-文档对，使得研究者能够系统性地分析检索器在面临实体歧义、信息冗余和噪声干扰时的鲁棒性。通过引入entity_pages与search_results双通道上下文，该数据有效支撑了对多源证据融合机制的研究，揭示了检索与推理之间相互依赖的深层规律，推动了开放域问答系统在知识边界扩展上的理论突破。

实际应用

在实际应用中，该数据集已成为智能客服、知识图谱问答和学术文献检索等系统的关键验证工具。企业级RAG架构常基于此数据集调优检索器的召回率与精确率，以降低用户提问时返回不相关文档的风险。此外，在医疗、法律等专业领域，该数据帮助构建了领域自适应的检索模型，通过微调嵌入参数显著提升了术语匹配的准确性，最终实现知识密集型任务中响应速度与内容相关性的双重优化。

数据集最近研究