open-llm-leaderboard-old/details_liuda1__Mistral-7B-golden
收藏数据集概述
数据集简介
该数据集是在评估模型liuda1/Mistral-7B-golden在Open LLM Leaderboard上的运行过程中自动创建的。数据集包含63个配置，每个配置对应一个评估任务。
数据集结构
- 配置数量：63个配置
- 数据来源：从1次运行中创建，每个运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
- 最新结果："train"分割始终指向最新的结果。
- 结果汇总：一个额外的配置"results"存储所有运行的汇总结果，用于计算和显示在Open LLM Leaderboard上的聚合指标。
数据加载示例
python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_liuda1__Mistral-7B-golden", "harness_winogrande_5", split="train")
最新结果
以下是2023-12-13T14:07:46.278312运行的最新结果：
python { "all": { "acc": 0.5849031765863516, "acc_stderr": 0.03309134055134218, "acc_norm": 0.590618347589519, "acc_norm_stderr": 0.03382284615639638, "mc1": 0.3671970624235006, "mc1_stderr": 0.01687480500145318, "mc2": 0.5351003465689416, "mc2_stderr": 0.01532071134712537 }, "harness|arc:challenge|25": { "acc": 0.560580204778157, "acc_stderr": 0.014503747823580122, "acc_norm": 0.6075085324232082, "acc_norm_stderr": 0.01426963463567073 }, "harness|hellaswag|10": { "acc": 0.3542123083051185, "acc_stderr": 0.004772964697941366, "acc_norm": 0.4442342162915754, "acc_norm_stderr": 0.004958649623815338 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.31, "acc_stderr": 0.04648231987117316, "acc_norm": 0.31, "acc_norm_stderr": 0.04648231987117316 }, # 其他任务的结果... }
配置详情
-
harness_arc_challenge_25
- 分割：2023_12_13T14_07_46.278312, latest
- 路径：
**/details_harness|arc:challenge|25_2023-12-13T14-07-46.278312.parquet
-
harness_gsm8k_5
- 分割：2023_12_13T14_07_46.278312, latest
- 路径：
**/details_harness|gsm8k|5_2023-12-13T14-07-46.278312.parquet
-
harness_hellaswag_10
- 分割：2023_12_13T14_07_46.278312, latest
- 路径：
**/details_harness|hellaswag|10_2023-12-13T14-07-46.278312.parquet
-
harness_hendrycksTest_5
- 分割：2023_12_13T14_07_46.278312, latest
- 路径：多个路径，包括
**/details_harness|hendrycksTest-abstract_algebra|5_2023-12-13T14-07-46.278312.parquet等
