open-llm-leaderboard-old/details_Aeala__VicUnlocked-alpaca-30b

该数据集是在评估模型Aeala/VicUnlocked-alpaca-30b时自动创建的，包含3个配置，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行可以在每个配置中找到特定的分割，分割使用运行的时间戳命名。train分割始终指向最新的结果。此外，还有一个results配置存储了所有运行的聚合结果，并用于计算和显示在Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集卡片 for Evaluation run of Aeala/VicUnlocked-alpaca-30b

数据集描述

数据集概述

数据集是在模型 Aeala/VicUnlocked-alpaca-30b 的评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集包含 3 个配置，每个配置对应一个评估任务。

数据集是从 1 次运行中创建的。每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train" 分割始终指向最新的结果。

额外的配置 "results" 存储了所有运行的聚合结果（用于计算和显示 Open LLM Leaderboard 上的聚合指标）。

最新结果

以下是 2023-10-17T18:02:20.593503 运行的最新结果：

python { "all": { "em": 0.011849832214765101, "em_stderr": 0.0011081721365098474, "f1": 0.07360528523489944, "f1_stderr": 0.0016918412800750494, "acc": 0.4642427803704344, "acc_stderr": 0.010668138318862291 }, "harness|drop|3": { "em": 0.011849832214765101, "em_stderr": 0.0011081721365098474, "f1": 0.07360528523489944, "f1_stderr": 0.0016918412800750494 }, "harness|gsm8k|5": { "acc": 0.1463229719484458, "acc_stderr": 0.00973521055778526 }, "harness|winogrande|5": { "acc": 0.7821625887924231, "acc_stderr": 0.011601066079939324 } }

配置

• harness_drop_3

  • 分割: 2023_10_17T18_02_20.593503
    • 路径: **/details_harness|drop|3_2023-10-17T18-02-20.593503.parquet
  • 分割: latest
    • 路径: **/details_harness|drop|3_2023-10-17T18-02-20.593503.parquet

• harness_gsm8k_5

  • 分割: 2023_10_17T18_02_20.593503
    • 路径: **/details_harness|gsm8k|5_2023-10-17T18-02-20.593503.parquet
  • 分割: latest
    • 路径: **/details_harness|gsm8k|5_2023-10-17T18-02-20.593503.parquet

• harness_winogrande_5

  • 分割: 2023_10_17T18_02_20.593503
    • 路径: **/details_harness|winogrande|5_2023-10-17T18-02-20.593503.parquet
  • 分割: latest
    • 路径: **/details_harness|winogrande|5_2023-10-17T18-02-20.593503.parquet

• results

  • 分割: 2023_10_17T18_02_20.593503
    • 路径: results_2023-10-17T18-02-20.593503.parquet
  • 分割: latest
    • 路径: results_2023-10-17T18-02-20.593503.parquet