open-llm-leaderboard-old/details_AA051611__limb

该数据集是在Open LLM Leaderboard上对模型AA051611/limb进行评估时自动创建的。数据集包含63个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行的结果作为特定配置中的一个分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于在Open LLM Leaderboard上计算和显示聚合指标。

原始信息汇总

数据集概述

该数据集是在对模型 AA051611/limb 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。数据集包含 63 个配置，每个配置对应一个评估任务。数据集从 1 次运行中创建，每个运行可以在每个配置中找到一个特定的分割，分割名称使用运行的时间戳。"train" 分割始终指向最新的结果。

数据集结构

数据集包含以下配置：

• harness_arc_challenge_25
• harness_gsm8k_5
• harness_hellaswag_10
• harness_hendrycksTest_5

每个配置包含多个数据文件，分为不同的分割，如 2024_01_14T17_31_13.154923 和 latest。

最新结果

以下是 最新结果 的摘要：

python { "all": { "acc": 0.7173948628205344, "acc_stderr": 0.029795425890422344, "acc_norm": 0.7228232912878558, "acc_norm_stderr": 0.030359217292974663, "mc1": 0.3990208078335373, "mc1_stderr": 0.017142825728496767, "mc2": 0.5836669238966421, "mc2_stderr": 0.01521191071011394 }, "harness|arc:challenge|25": { "acc": 0.5921501706484642, "acc_stderr": 0.014361097288449712, "acc_norm": 0.6348122866894198, "acc_norm_stderr": 0.0140702655192688 }, "harness|hellaswag|10": { "acc": 0.6357299342760406, "acc_stderr": 0.0048024139199326675, "acc_norm": 0.8307110137422824, "acc_norm_stderr": 0.0037424055874098806 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.47, "acc_stderr": 0.05016135580465919, "acc_norm": 0.47, "acc_norm_stderr": 0.05016135580465919 }, # 其他任务的结果... }

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_AA051611__limb", "harness_winogrande_5", split="train")