open-llm-leaderboard-old/details_codellama__CodeLlama-34b-hf

该数据集是在模型[codellama/CodeLlama-34b-hf](https://huggingface.co/codellama/CodeLlama-34b-hf)的评估运行期间自动创建的，评估运行是在[Open LLM Leaderboard](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)上进行的。数据集由64个配置组成，每个配置对应一个评估任务。数据集是从4次运行中创建的，每次运行都可以在特定配置中找到，分割名称使用运行的时间戳。"train"分割始终指向最新的结果。此外，还有一个名为"results"的配置，存储了所有运行的聚合结果，并用于计算和显示[Open LLM Leaderboard](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)上的聚合指标。

原始信息汇总

数据集概述

数据集摘要

该数据集是在对模型 codellama/CodeLlama-34b-hf 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。数据集包含 64 个配置，每个配置对应一个评估任务。数据集从 4 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train" 分割始终指向最新的结果。

数据集结构

数据集包含多个配置，每个配置对应不同的评估任务。以下是部分配置的详细信息：

• harness_arc_challenge_25:

  • 分割: 2023_08_26T05_33_43.008439, 2024_01_05T02_39_47.564010, 2024_02_18T18_31_41.422822, latest
  • 路径: 对应时间戳的 parquet 文件

• harness_drop_3:

  • 分割: 2023_09_17T13_13_18.038521, latest
  • 路径: 对应时间戳的 parquet 文件

• harness_gsm8k_5:

  • 分割: 2023_09_17T13_13_18.038521, 2024_01_05T02_39_47.564010, 2024_02_18T18_31_41.422822, latest
  • 路径: 对应时间戳的 parquet 文件

• harness_hellaswag_10:

  • 分割: 2023_08_26T05_33_43.008439, 2024_01_05T02_39_47.564010, 2024_02_18T18_31_41.422822, latest
  • 路径: 对应时间戳的 parquet 文件

• harness_hendrycksTest_5:

  • 分割: 2023_08_26T05_33_43.008439
  • 路径: 对应时间戳的多个 parquet 文件

最新结果

以下是 最新结果 的摘要：

python { "all": { "acc": 0.5492276017664751, "acc_stderr": 0.034136689819192864, "acc_norm": 0.5535771168570393, "acc_norm_stderr": 0.0348496967279896, "mc1": 0.2460220318237454, "mc1_stderr": 0.015077219200662568, "mc2": 0.39113618393918814, "mc2_stderr": 0.01395474555566057 }, ... }

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_codellama__CodeLlama-34b-hf", "harness_winogrande_5", split="train")