open-llm-leaderboard/details_bigscience__bloom-1b7

该数据集是在模型bigscience/bloom-1b7的评估运行期间自动创建的，用于Open LLM Leaderboard上的评估。数据集包含3个配置，每个配置对应一个评估任务，并从4次运行中创建。每次运行都以特定的时间戳命名的拆分形式存在，其中train拆分始终指向最新结果。此外，results配置存储了运行的所有聚合结果。

原始信息汇总

数据集卡片 for Evaluation run of bigscience/bloom-1b7

数据集描述

数据集概述

数据集是在模型 bigscience/bloom-1b7 在 Open LLM Leaderboard 上的评估运行期间自动创建的。

数据集由 3 个配置组成，每个配置对应一个评估任务。

数据集从 4 次运行中创建。每次运行可以在每个配置中找到一个特定的拆分，拆分名称使用运行的时间戳。"train" 拆分始终指向最新的结果。

额外的配置 "results" 存储所有运行的聚合结果（并用于计算和显示 Open LLM Leaderboard 上的聚合指标）。

最新结果

以下是 2023-12-04T13:06:13.491181 运行的最新结果：

python { "all": { "acc": 0.008339651250947688, "acc_stderr": 0.0025049422268605148 }, "harness|gsm8k|5": { "acc": 0.008339651250947688, "acc_stderr": 0.0025049422268605148 } }

数据集结构

配置

• harness_drop_3

  • 拆分: 2023_10_16T16_35_28.358737
    • 路径: **/details_harness|drop|3_2023-10-16T16-35-28.358737.parquet
  • 拆分: latest
    • 路径: **/details_harness|drop|3_2023-10-16T16-35-28.358737.parquet

• harness_gsm8k_5

  • 拆分: 2023_10_16T16_35_28.358737
    • 路径: **/details_harness|gsm8k|5_2023-10-16T16-35-28.358737.parquet
  • 拆分: 2023_12_03T16_04_08.979472
    • 路径: **/details_harness|gsm8k|5_2023-12-03T16-04-08.979472.parquet
  • 拆分: 2023_12_04T09_54_54.675804
    • 路径: **/details_harness|gsm8k|5_2023-12-04T09-54-54.675804.parquet
  • 拆分: 2023_12_04T13_06_13.491181
    • 路径: **/details_harness|gsm8k|5_2023-12-04T13-06-13.491181.parquet
  • 拆分: latest
    • 路径: **/details_harness|gsm8k|5_2023-12-04T13-06-13.491181.parquet

• harness_winogrande_5

  • 拆分: 2023_10_16T16_35_28.358737
    • 路径: **/details_harness|winogrande|5_2023-10-16T16-35-28.358737.parquet
  • 拆分: latest
    • 路径: **/details_harness|winogrande|5_2023-10-16T16-35-28.358737.parquet

• results

  • 拆分: 2023_10_16T16_35_28.358737
    • 路径: results_2023-10-16T16-35-28.358737.parquet
  • 拆分: 2023_12_03T16_04_08.979472
    • 路径: results_2023-12-03T16-04-08.979472.parquet
  • 拆分: 2023_12_04T09_54_54.675804
    • 路径: results_2023-12-04T09-54-54.675804.parquet
  • 拆分: 2023_12_04T13_06_13.491181
    • 路径: results_2023-12-04T13-06-13.491181.parquet
  • 拆分: latest
    • 路径: results_2023-12-04T13-06-13.491181.parquet