AutoLab-Westlake/BioKGBench-Dataset

BioKGBench是一个用于评估生物医学科学中人工智能代理的知识图谱检查基准。该数据集通过知识图谱检查（KGCheck）、知识图谱问答（KGQA）和科学声明验证（SCV）等任务来评估代理的能力。数据集包括bioKG知识图谱、KGCheck任务（开发集20个样本，测试集205个样本，语料库51个样本）、KGQA任务（开发集60个样本，测试集638个样本）和SCV任务（开发集120个样本，测试集1265个样本，语料库5664个样本）。

原始信息汇总

BioKGBench 数据集概述

基本信息

• 语言: 英语
• 许可证: MIT
• 任务类别:
  • 问答
  • 文本检索
  • 其他
• 数据集名称: BioKGBench
• 数据规模: 10K<n<100K
• 标注创建者:
  • 专家生成
  • 机器生成
• 任务ID:
  • 事实核查
  • 封闭领域问答
  • 事实核查检索

数据集结构

• 特征:
  • kgcheck: 字符串类型
  • kgqa: 字符串类型
  • scv: 字符串类型
  • bioKG: 字符串类型

配置信息

• kgcheck:
  • dev: kgcheck/dev.json
  • test: kgcheck/test.json
• kgqa:
  • dev: kgqa/dev.json
  • test: kgqa/test.json
• scv-corpus:
  • corpus: scv/merged_corpus.jsonl
• scv:
  • dev: scv/dev.jsonl
  • test: scv/test.jsonl
• biokg:
  • datasets: bioKG/datasets/*.tsv
  • ontologies: bioKG/ontologies/*.tsv

数据集内容

• bioKG: 知识图谱
• KGCheck:
  • dev: 20个样本
  • test: 205个样本
  • corpus: 51个样本
• KGQA:
  • dev: 60个样本
  • test: 638个样本
• SCV:
  • dev: 120个样本
  • test: 1265个样本
  • corpus: 5664个样本