open-llm-leaderboard/details_Isotonic__Mixnueza-Chat-6x32M-MoE

该数据集是在模型`Isotonic/Mixnueza-Chat-6x32M-MoE`在`Open LLM Leaderboard`上的评估运行中自动生成的。数据集由63个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行可以在每个配置中找到，分割名使用运行的时间戳命名。`train`分割始终指向最新的结果。此外，`results`配置存储了所有运行的聚合结果，并用于计算和显示`Open LLM Leaderboard`上的聚合指标。

原始信息汇总

数据集概述

数据集名称: Evaluation run of Isotonic/Mixnueza-Chat-6x32M-MoE

数据集来源: 自动创建于模型Isotonic/Mixnueza-Chat-6x32M-MoE在Open LLM Leaderboard的评估运行过程中。

数据集构成:

• 配置数量: 63个
• 配置内容: 每个配置对应一个评估任务
• 数据集创建: 来自1次运行
• 数据分割: 每个运行作为一个特定的分割，分割名使用运行的时间戳命名
• 特殊配置: "results"配置存储所有运行的聚合结果，用于计算和显示聚合指标

数据集加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Isotonic__Mixnueza-Chat-6x32M-MoE", "harness_winogrande_5", split="train")

最新结果

• 最新结果时间: 2024-04-07T02:09:55.470077
• 结果文件: latest results from run 2024-04-07T02:09:55.470077

详细结果

• 整体性能:

  • 准确率(acc): 0.25475467189344064
  • 准确率标准误差(acc_stderr): 0.030639762090785793
  • 归一化准确率(acc_norm): 0.2552581810114775
  • 归一化准确率标准误差(acc_norm_stderr): 0.03144935013039305
  • 多选1(mc1): 0.25703794369645044
  • 多选1标准误差(mc1_stderr): 0.015298077509485083
  • 多选2(mc2): 0.4727026528122458
  • 多选2标准误差(mc2_stderr): 0.015699277111857743

• 任务特定性能:

  • 详见README文件中的具体任务结果。

数据集配置

• 配置列表:
  • harness_arc_challenge_25
  • harness_gsm8k_5
  • harness_hellaswag_10
  • harness_hendrycksTest_5

每个配置包含多个数据文件，对应不同的任务和时间戳。