open-llm-leaderboard-old/details_bobofrut__ladybird-base-7B-v8

该数据集是在模型 bobofrut/ladybird-base-7B-v8 在 Open LLM Leaderboard 上的评估运行期间自动创建的。它由 63 个配置组成，每个配置对应一个被评估的任务。数据集是从 1 次运行中生成的，每次运行作为每个配置中的一个特定拆分，使用运行的时间戳命名。train 拆分始终指向最新的结果。一个额外的配置 results 存储了所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。可以使用 Hugging Face 的 datasets 库加载该数据集，如提供的 Python 代码片段所示。

原始信息汇总

数据集概述

数据集简介

该数据集是在对模型 bobofrut/ladybird-base-7B-v8 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集结构

• 配置数量：63个配置，每个配置对应一个评估任务。
• 数据来源：数据集由1次运行创建，每个运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳。
• 最新结果："train" 分割始终指向最新的结果。
• 汇总结果：一个额外的配置 "results" 存储所有运行的汇总结果，用于计算和显示 Open LLM Leaderboard 上的汇总指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_bobofrut__ladybird-base-7B-v8", "harness_winogrande_5", split="train")

最新结果

以下是 最新结果 的摘要： python { "all": { "acc": 0.6506625889649847, "acc_stderr": 0.032104707295835706, "acc_norm": 0.6496279432262827, "acc_norm_stderr": 0.032782725320370666, "mc1": 0.6217870257037944, "mc1_stderr": 0.016976335907546866, "mc2": 0.7681803642917189, "mc2_stderr": 0.013953379615259215 }, "harness|arc:challenge|25": { "acc": 0.712457337883959, "acc_stderr": 0.013226719056266127, "acc_norm": 0.7320819112627986, "acc_norm_stderr": 0.012942030195136438 }, "harness|hellaswag|10": { "acc": 0.7170882294363673, "acc_stderr": 0.004494934025462338, "acc_norm": 0.8918542123083051, "acc_norm_stderr": 0.0030992974183235464 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.33, "acc_stderr": 0.047258156262526045, "acc_norm": 0.33, "acc_norm_stderr": 0.047258156262526045 }, # 其他任务的结果... }

配置详情

• harness_arc_challenge_25

  • 分割：2024_03_24T15_12_42.138797, latest
  • 路径：**/details_harness|arc:challenge|25_2024-03-24T15-12-42.138797.parquet

• harness_gsm8k_5

  • 分割：2024_03_24T15_12_42.138797, latest
  • 路径：**/details_harness|gsm8k|5_2024-03-24T15-12-42.138797.parquet

• harness_hellaswag_10

  • 分割：2024_03_24T15_12_42.138797, latest
  • 路径：**/details_harness|hellaswag|10_2024-03-24T15-12-42.138797.parquet

• harness_hendrycksTest_5

  • 分割：2024_03_24T15_12_42.138797, latest
  • 路径：多个路径，包括 **/details_harness|hendrycksTest-abstract_algebra|5_2024-03-24T15-12-42.138797.parquet 等。