open-llm-leaderboard-old/details_AI-Sweden-Models__gpt-sw3-6.7b-v2

该数据集是在评估模型AI-Sweden-Models/gpt-sw3-6.7b-v2时自动创建的，评估在Open LLM Leaderboard上进行。数据集由64个配置组成，每个配置对应一个评估任务。数据集从1次运行中创建，每次运行可以在每个配置中找到，分割以运行的时间戳命名。train分割始终指向最新结果。results配置存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集创建

• 创建背景：该数据集是在对模型 AI-Sweden-Models/gpt-sw3-6.7b-v2 进行评估时自动创建的。
• 评估平台：数据集的创建和评估结果展示在 Open LLM Leaderboard 上。

数据集结构

• 配置数量：数据集包含 64 个配置，每个配置对应一个评估任务。
• 数据来源：数据集从 1 次运行中创建，每个运行结果作为特定分片存储在每个配置中，分片名称使用运行的时间戳。
• 最新结果："train" 分片始终指向最新的结果。
• 聚合结果：额外配置 "results" 存储所有运行的聚合结果，用于计算和展示在 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_AI-Sweden-Models__gpt-sw3-6.7b-v2_public", "harness_winogrande_5", split="train")

最新结果

• 最新运行时间：2023-11-18T22:06:22.388098
• 结果示例： python { "all": { "acc": 0.3057412972161726, "acc_stderr": 0.0324287022369866, "acc_norm": 0.3085950645885834, "acc_norm_stderr": 0.03324907491950671, "mc1": 0.2215422276621787, "mc1_stderr": 0.014537867601301137, "mc2": 0.35596210654913335, "mc2_stderr": 0.01360076088943332, "em": 0.00985738255033557, "em_stderr": 0.001011740962658443, "f1": 0.06222839765100698, "f1_stderr": 0.0016287678100739308 }, "harness|arc:challenge|25": { "acc": 0.35409556313993173, "acc_stderr": 0.01397545412275656, "acc_norm": 0.39419795221843, "acc_norm_stderr": 0.014280522667467327 }, "harness|hellaswag|10": { "acc": 0.492531368253336, "acc_stderr": 0.004989224715784535, "acc_norm": 0.6639115714001195, "acc_norm_stderr": 0.004714041652598593 }, ... }

配置详情

• 配置名称：harness_arc_challenge_25

  • 分片：2023_11_18T22_06_22.388098, latest
  • 路径：
    • **/details_harness|arc:challenge|25_2023-11-18T22-06-22.388098.parquet

• 配置名称：harness_drop_3

  • 分片：2023_11_18T22_06_22.388098, latest
  • 路径：
    • **/details_harness|drop|3_2023-11-18T22-06-22.388098.parquet

• 配置名称：harness_gsm8k_5

  • 分片：2023_11_18T22_06_22.388098, latest
  • 路径：
    • **/details_harness|gsm8k|5_2023-11-18T22-06-22.388098.parquet

• 配置名称：harness_hellaswag_10

  • 分片：2023_11_18T22_06_22.388098, latest
  • 路径：
    • **/details_harness|hellaswag|10_2023-11-18T22-06-22.388098.parquet

• 配置名称：harness_hendrycksTest_5

  • 分片：2023_11_18T22_06_22.388098, latest
  • 路径：
    • **/details_harness|hendrycksTest-abstract_algebra|5_2023-11-18T22-06-22.388098.parquet
    • **/details_harness|hendrycksTest-anatomy|5_2023-11-18T22-06-22.388098.parquet
    • **/details_harness|hendrycksTest-astronomy|5_2023-11-18T22-06-22.388098.parquet
    • ...