open-llm-leaderboard-old/details_HenryJJ__llama3-8B-lima

该数据集是在Open LLM Leaderboard上对模型HenryJJ/llama3-8B-lima进行评估时自动生成的。数据集包含63个配置，每个配置对应一个评估任务。它包含一次运行的结果，每次运行作为每个配置中的一个特定分割，分割名称由运行的时间戳命名。train分割始终指向最新的结果。此外，还有一个results配置，用于存储运行的所有聚合结果，并在Open LLM Leaderboard上计算和显示聚合指标。README还提供了如何使用Hugging Face datasets库加载数据集的示例。

原始信息汇总

数据集概述

数据集简介

该数据集是在对模型 HenryJJ/llama3-8B-lima 进行评估运行期间自动创建的，评估结果展示在 Open LLM Leaderboard 上。

数据集结构

• 配置数量：63个配置，每个配置对应一个评估任务。
• 数据来源：数据集来自1次运行，每个运行结果作为一个特定的分割存储在每个配置中，分割名称使用运行的时间戳。
• 最新结果："train" 分割始终指向最新的结果。
• 汇总结果：一个额外的配置 "results" 存储所有运行的汇总结果，用于计算和展示在 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_HenryJJ__llama3-8B-lima", "harness_winogrande_5", split="train")

最新结果

以下是 2024-04-23T04:47:26.208831 运行 的最新结果：

python { "all": { "acc": 0.6417540837024931, "acc_stderr": 0.031960389676951, "acc_norm": 0.6473833665780901, "acc_norm_stderr": 0.03259365055713114, "mc1": 0.3047735618115055, "mc1_stderr": 0.01611412415688246, "mc2": 0.468127462808582, "mc2_stderr": 0.01524874234374719 }, "harness|arc:challenge|25": { "acc": 0.5290102389078498, "acc_stderr": 0.014586776355294321, "acc_norm": 0.5580204778156996, "acc_norm_stderr": 0.014512682523128345 }, "harness|hellaswag|10": { "acc": 0.6341366261700856, "acc_stderr": 0.004806870285747293, "acc_norm": 0.8225453096992631, "acc_norm_stderr": 0.003812722285855777 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.34, "acc_stderr": 0.04760952285695236, "acc_norm": 0.34, "acc_norm_stderr": 0.04760952285695236 }, # 其他任务的结果... }

配置详情

• harness_arc_challenge_25

  • 分割：2024_04_23T04_47_26.208831, latest
  • 路径：**/details_harness|arc:challenge|25_2024-04-23T04-47-26.208831.parquet

• harness_gsm8k_5

  • 分割：2024_04_23T04_47_26.208831, latest
  • 路径：**/details_harness|gsm8k|5_2024-04-23T04-47-26.208831.parquet

• harness_hellaswag_10

  • 分割：2024_04_23T04_47_26.208831, latest
  • 路径：**/details_harness|hellaswag|10_2024-04-23T04-47-26.208831.parquet

• harness_hendrycksTest_5

  • 分割：2024_04_23T04_47_26.208831, latest
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2024-04-23T04-47-26.208831.parquet 等