BrainGPT/BrainBench_Human_v0.1.csv

BrainBench是一个面向神经科学的前瞻性基准，用于评估测试者预测神经科学结果的能力。数据集由来自《Journal of Neuroscience》的摘要构成，涵盖五个神经科学领域：行为/认知、系统/电路、疾病神经生物学、细胞/分子和发育/可塑性/修复。测试者需要在原始摘要和经过修改的摘要之间选择正确的一个。人类专家和语言模型（LLMs）都参与了测试，人类专家提供了信心和专业知识评级，而LLMs则基于困惑度进行选择。

原始信息汇总

数据集概述

数据集信息

• 名称: BrainBench
• 许可证: Apache-2.0
• 标签:
  • 神经科学
  • 前瞻性
• 大小类别: n<1K

配置

• 默认配置:
  • 数据文件:
    • 分割: train
    • 路径: data/train-*

数据集详情

• 特征:
  • doi: 字符串
  • journal_section: 字符串
  • original_abstract: 字符串
  • incorrect_abstract: 字符串
• 分割:
  • train:
    • 字节数: 636038
    • 样本数: 200
• 下载大小: 355294
• 数据集大小: 636038

数据集用途

• 目的: 评估测试者预测神经科学结果的能力。
• 来源: 来自《神经科学杂志》的近期摘要，涵盖五个神经科学领域：行为/认知、系统/电路、神经疾病生物学、细胞/分子、发育/可塑性/修复。
• 应用: 人类专家和语言模型（LLMs）被要求从两个选项中选择正确的（即原始的）版本。人类专家在在线研究中做出选择，并提供信心和专业评级。LLMs根据较低的困惑度（即模型不太惊讶的文本段落）进行评分，其信心与两个选项之间的困惑度差异成比例。

数据文件

• BrainBench_Human_v0.1.csv: 由人类专家制作。