open-llm-leaderboard-old/details_mlabonne__ChimeraLlama-3-8B
收藏数据集概述
数据集简介
该数据集是在评估模型mlabonne/ChimeraLlama-3-8B在Open LLM Leaderboard上的自动创建的。数据集包含63个配置，每个配置对应一个评估任务。
数据集结构
- 配置数量：63个配置
- 数据来源：从1次运行中创建，每个运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
- 最新结果："train"分割始终指向最新结果。
- 结果汇总：一个额外的配置"results"存储所有运行的汇总结果，用于计算和显示在Open LLM Leaderboard上的汇总指标。
数据加载示例
python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_mlabonne__ChimeraLlama-3-8B", "harness_winogrande_5", split="train")
最新结果
最新结果来自2024-04-23T02:44:00.437694的运行，包含多个任务的评估结果。以下是部分任务的结果示例：
python { "all": { "acc": 0.675185777688252, "acc_stderr": 0.031562338272334144, "acc_norm": 0.6775628058371124, "acc_norm_stderr": 0.03219431461970814, "mc1": 0.36474908200734396, "mc1_stderr": 0.01685096106172012, "mc2": 0.5239811008886394, "mc2_stderr": 0.015006653256065063 }, "harness|arc:challenge|25": { "acc": 0.5750853242320819, "acc_stderr": 0.014445698968520769, "acc_norm": 0.6237201365187713, "acc_norm_stderr": 0.014157022555407158 }, "harness|hellaswag|10": { "acc": 0.6185022903804023, "acc_stderr": 0.00484761521647345, "acc_norm": 0.8118900617406891, "acc_norm_stderr": 0.0039000125049579674 }, # 其他任务的结果... }
配置详情
-
harness_arc_challenge_25
- 分割：2024_04_23T02_44_00.437694, latest
- 路径：
**/details_harness|arc:challenge|25_2024-04-23T02-44-00.437694.parquet
-
harness_gsm8k_5
- 分割：2024_04_23T02_44_00.437694, latest
- 路径：
**/details_harness|gsm8k|5_2024-04-23T02-44-00.437694.parquet
-
harness_hellaswag_10
- 分割：2024_04_23T02_44_00.437694, latest
- 路径：
**/details_harness|hellaswag|10_2024-04-23T02-44-00.437694.parquet
-
harness_hendrycksTest_5
- 分割：2024_04_23T02_44_00.437694, latest
- 路径：多个路径，例如
**/details_harness|hendrycksTest-abstract_algebra|5_2024-04-23T02-44-00.437694.parquet等
以上是数据集的详细概述，包括数据集的简介、结构、加载示例、最新结果和配置详情。
