open-llm-leaderboard/details_Mihaiii__Cluj-Napoca-0.2

该数据集是在模型Mihaiii/Cluj-Napoca-0.2的评估运行期间自动创建的，用于在Open LLM Leaderboard上进行评估。数据集由63个配置组成，每个配置对应一个评估任务。数据集从1次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，results配置存储了所有运行的聚合结果，并用于计算和显示在Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集名称

• pretty_name: Evaluation run of Mihaiii/Cluj-Napoca-0.2

数据集描述

• dataset_summary: 该数据集是自动创建的，用于评估模型Mihaiii/Cluj-Napoca-0.2在Open LLM Leaderboard上的表现。

数据集组成

• 配置数量: 63个配置，每个配置对应一个评估任务。
• 数据来源: 数据集由1次运行创建，每次运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳命名。
• 特殊配置: 额外配置“results”存储所有运行结果的聚合数据，用于计算和显示Open LLM Leaderboard上的聚合指标。

数据集加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Mihaiii__Cluj-Napoca-0.2", "harness_winogrande_5", split="train")

最新结果

• 最新结果时间戳: 2024-03-24T23:14:18.265480
• 结果文件: latest results from run 2024-03-24T23:14:18.265480

结果详情

• 总体性能指标:

  • acc: 0.4336611715332348
  • acc_stderr: 0.03415236306614312
  • acc_norm: 0.4403955894708266
  • acc_norm_stderr: 0.03508609526931233
  • mc1: 0.2827417380660955
  • mc1_stderr: 0.01576477083677731
  • mc2: 0.44766433912911885
  • mc2_stderr: 0.015875494112583516

• 特定任务性能指标:

  • harness|arc:challenge|25:

    • acc: 0.4453924914675768
    • acc_stderr: 0.01452398763834409
    • acc_norm: 0.48890784982935154
    • acc_norm_stderr: 0.01460779491401307

  • harness|hellaswag|10:

    • acc: 0.5053774148575981
    • acc_stderr: 0.004989492828168533
    • acc_norm: 0.6872137024497113
    • acc_norm_stderr: 0.004626805906522226

  • harness|hendrycksTest-abstract_algebra|5:

    • acc: 0.27
    • acc_stderr: 0.044619604333847394
    • acc_norm: 0.27
    • acc_norm_stderr: 0.044619604333847394

  • ... (其他任务指标省略，详细信息请参考结果文件)

配置详情

• 配置列表:

  • config_name: harness_arc_challenge_25

    • data_files:
      • split: 2024_03_24T23_14_18.265480
        • path: /details_harness|arc:challenge|25_2024-03-24T23-14-18.265480.parquet
      • split: latest
        • path: /details_harness|arc:challenge|25_2024-03-24T23-14-18.265480.parquet

  • config_name: harness_gsm8k_5

    • data_files:
      • split: 2024_03_24T23_14_18.265480
        • path: /details_harness|gsm8k|5_2024-03-24T23-14-18.265480.parquet
      • split: latest
        • path: /details_harness|gsm8k|5_2024-03-24T23-14-18.265480.parquet

  • config_name: harness_hellaswag_10

    • data_files:
      • split: 2024_03_24T23_14_18.265480
        • path: /details_harness|hellaswag|10_2024-03-24T23-14-18.265480.parquet
      • split: latest
        • path: /details_harness|hellaswag|10_2024-03-24T23-14-18.265480.parquet

  • config_name: harness_hendrycksTest_5

    • data_files:
      • split: 2024_03_24T23_14_18.265480
        • path:
          • /details_harness|hendrycksTest-abstract_algebra|5_2024-03-24T23-14-18.265480.parquet
          • ... (其他任务路径省略，详细信息请参考结果文件)
      • split: latest
        • path:
          • /details_harness|hendrycksTest-abstract_algebra|5_2024-03-24T23-14-18.265480.parquet
          • ... (其他任务路径省略，详细信息请参考结果文件)

以上信息提供了数据集的基本描述、组成、加载方法、最新结果以及配置详情，有助于用户快速了解和使用该数据集。