open-llm-leaderboard-old/details_ToastyPigeon__SmolLlama-1.5B-Sorted

该数据集是在模型ToastyPigeon/SmolLlama-1.5B-Sorted在Open LLM Leaderboard上的评估运行过程中自动创建的。数据集由63个配置组成，每个配置对应一个被评估的任务。它包含一次运行的结果，每次运行在每个配置中表示为特定的分割。train分割始终指向最新的结果。一个名为results的额外配置存储了所有运行的聚合结果，这些结果用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用`datasets`库中的`load_dataset`函数加载数据集的示例，并包含了特定运行的最新结果。

原始信息汇总

数据集概述

数据集简介

该数据集是在对模型 ToastyPigeon/SmolLlama-1.5B-Sorted 进行评估时自动创建的，用于 Open LLM Leaderboard。

数据集结构

• 配置数量：63个配置，每个配置对应一个评估任务。
• 数据来源：数据集来自1次运行，每次运行在每个配置中都有一个特定的分割，分割名称使用运行的时间戳。
• 最新结果："train" 分割始终指向最新的结果。
• 聚合结果：一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_ToastyPigeon__SmolLlama-1.5B-Sorted", "harness_winogrande_5", split="train")

最新结果

以下是 2024-03-21T20:53:30.966696 运行的最新结果：

python { "all": { "acc": 0.25028427961005056, "acc_stderr": 0.03052511122739993, "acc_norm": 0.2515129548205165, "acc_norm_stderr": 0.03130240560419783, "mc1": 0.189718482252142, "mc1_stderr": 0.013725485265185093, "mc2": 0.3211469775658132, "mc2_stderr": 0.013726680047364643 }, "harness|arc:challenge|25": { "acc": 0.2696245733788396, "acc_stderr": 0.01296804068686914, "acc_norm": 0.3191126279863481, "acc_norm_stderr": 0.013621696119173304 }, "harness|hellaswag|10": { "acc": 0.42690699063931487, "acc_stderr": 0.004936176784631958, "acc_norm": 0.563931487751444, "acc_norm_stderr": 0.004948824501355482 }, ... }

配置详情

• config_name: harness_arc_challenge_25

  • data_files:
    • split: 2024_03_21T20_53_30.966696
      • path: **/details_harness|arc:challenge|25_2024-03-21T20-53-30.966696.parquet
    • split: latest
      • path: **/details_harness|arc:challenge|25_2024-03-21T20-53-30.966696.parquet

• config_name: harness_gsm8k_5

  • data_files:
    • split: 2024_03_21T20_53_30.966696
      • path: **/details_harness|gsm8k|5_2024-03-21T20-53-30.966696.parquet
    • split: latest
      • path: **/details_harness|gsm8k|5_2024-03-21T20-53-30.966696.parquet

• config_name: harness_hellaswag_10

  • data_files:
    • split: 2024_03_21T20_53_30.966696
      • path: **/details_harness|hellaswag|10_2024-03-21T20-53-30.966696.parquet
    • split: latest
      • path: **/details_harness|hellaswag|10_2024-03-21T20-53-30.966696.parquet

• config_name: harness_hendrycksTest_5

  • data_files:
    • split: 2024_03_21T20_53_30.966696
      • path:
        • **/details_harness|hendrycksTest-abstract_algebra|5_2024-03-21T20-53-30.966696.parquet
        • **/details_harness|hendrycksTest-anatomy|5_2024-03-21T20-53-30.966696.parquet
        • ...
    • split: latest
      • path:
        • **/details_harness|hendrycksTest-abstract_algebra|5_2024-03-21T20-53-30.966696.parquet
        • **/details_harness|hendrycksTest-anatomy|5_2024-03-21T20-53-30.966696.parquet
        • ...