open-llm-leaderboard/details_TommyZQ__llama3

该数据集是在Open LLM Leaderboard上对模型TommyZQ/llama3进行评估时自动创建的。它由63个配置组成，每个配置对应一个评估任务。数据集是从1次运行中生成的，每次运行在每个配置中表示为特定的分割，使用运行的时间戳命名。train分割始终指向最新的结果。一个额外的配置results存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。可以使用HuggingFace的datasets库加载该数据集，如提供的Python代码片段所示。

原始信息汇总

数据集概述

数据集名称

• pretty_name: Evaluation run of TommyZQ/llama3

数据集描述

• dataset_summary: 该数据集是在评估模型TommyZQ/llama3运行期间自动创建的，用于Open LLM Leaderboard。

数据集组成

• 配置数量: 63个配置，每个配置对应一个评估任务。
• 创建来源: 数据集由1次运行创建。
• 数据分割: 每次运行作为一个特定的分割，分割名称使用运行的时间戳。"train"分割始终指向最新结果。
• 额外配置: “results”配置存储所有运行的聚合结果，用于计算和显示聚合指标。

加载数据示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_TommyZQ__llama3", "harness_winogrande_5", split="train")

最新结果

• 最新结果时间戳: 2024-04-19T02:02:11.915036
• 结果存储位置: 链接

结果详情

• 聚合结果 (all):

  • acc: 0.25963732222468194
  • acc_stderr: 0.03099098534859739
  • acc_norm: 0.2610646605187679
  • acc_norm_stderr: 0.03170559793701961
  • mc1: 0.27050183598531213
  • mc1_stderr: 0.015550778332842892
  • mc2: 0.42790014826106193
  • mc2_stderr: 0.014660921880640491

• 各任务结果 (部分示例):

  • harness|arc:challenge|25:

    • acc: 0.3438566552901024
    • acc_stderr: 0.01388064457015621
    • acc_norm: 0.3771331058020478
    • acc_norm_stderr: 0.014163366896192589

  • harness|hellaswag|10:

    • acc: 0.4386576379207329
    • acc_stderr: 0.00495208708312889
    • acc_norm: 0.5893248356901015
    • acc_norm_stderr: 0.00490950953852518

  • harness|hendrycksTest-abstract_algebra|5:

    • acc: 0.23
    • acc_stderr: 0.042295258468165044
    • acc_norm: 0.23
    • acc_norm_stderr: 0.042295258468165044

  • ... (其他任务结果类似)

数据加载配置

• 配置名称: 多个，如harness_arc_challenge_25, harness_gsm8k_5, harness_hellaswag_10等。
• 数据文件: 每个配置包含多个数据文件，根据不同的分割（如2024_04_19T02_02_11.915036和latest）存储在不同的路径下。