sam-paech/magi_hard_1_0

MAGI数据集是MMLU和AGIEval的硬子集，旨在提高模型之间的区分度。MAGI-Hard子集包含3203个问题，对7b模型具有挑战性，而MAGI-IRT子集包含2154个问题，使用项目反应理论（IRT）来建模问题难度，适用于低到中能力模型的评分。

原始信息汇总

数据集概述

数据集信息

• 特征（Features）:

  • query: 数据类型为字符串（string）。
  • choices: 数据类型为序列字符串（sequence: string）。
  • gold: 数据类型为序列整数（sequence: int64）。
  • source: 数据类型为字符串（string）。

• 分割（Splits）:

  • test: 包含3203个示例，数据大小为2093721字节。

• 数据集大小（Dataset Size）: 2093721字节。

• 下载大小（Download Size）: 1029906字节。

配置（Configs）

• 默认配置（config_name: default）:
  • data_files:
    • split: test
    • path: data/test-*