open-llm-leaderboard/details_Isotonic__TinyQwex-4x620M-MoE

该数据集是在模型Isotonic/TinyQwex-4x620M-MoE的评估运行期间自动创建的，用于在Open LLM Leaderboard上进行评估。数据集由63个配置组成，每个配置对应一个评估任务。数据集从1次运行中创建，每次运行可以在每个配置中找到，分割以运行的时间戳命名。train分割始终指向最新结果。此外，results配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集创建

• 来源: 该数据集是在模型 Isotonic/TinyQwex-4x620M-MoE 在 Open LLM Leaderboard 上的评估运行期间自动创建的。

数据集结构

• 配置数量: 数据集包含 63 个配置，每个配置对应一个评估任务。
• 运行次数: 数据集由 1 次运行创建。每个运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• 最新结果: "train" 分割始终指向最新结果。
• 聚合结果: 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Isotonic__TinyQwex-4x620M-MoE", "harness_winogrande_5", split="train")

最新结果

• 最新结果时间戳: 2024-04-07T02:55:53.030470
• 结果示例: python { "all": { "acc": 0.2424585468194838, "acc_stderr": 0.030320769072797325, "acc_norm": 0.24309999016079853, "acc_norm_stderr": 0.03112669387630501, "mc1": 0.22766217870257038, "mc1_stderr": 0.01467925503211107, "mc2": 0.4822967947124386, "mc2_stderr": 0.016765493106593414 }, "harness|arc:challenge|25": { "acc": 0.21160409556313994, "acc_stderr": 0.011935916358632847, "acc_norm": 0.2627986348122867, "acc_norm_stderr": 0.012862523175351333 }, "harness|hellaswag|10": { "acc": 0.25582553276239794, "acc_stderr": 0.004354325017137537, "acc_norm": 0.2619000199163513, "acc_norm_stderr": 0.004387699525854879 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.26, "acc_stderr": 0.04408440022768081, "acc_norm": 0.26, "acc_norm_stderr": 0.04408440022768081 },

  更多任务结果...

}

配置详情

• 配置名称: 如 harness_arc_challenge_25, harness_gsm8k_5, harness_hellaswag_10, harness_hendrycksTest_5 等。
• 数据文件: 每个配置包含多个数据文件，每个文件对应一个特定的分割（如 2024_04_07T02_55_53.030470 和 latest）。