open-llm-leaderboard/details_Vezora__Mistral-22B-v0.1

该数据集是在Open LLM Leaderboard上对模型Vezora/Mistral-22B-v0.1进行评估时自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集由2次运行生成，每次运行在每个配置中表示为特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个results配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用`datasets`库中的`load_dataset`函数加载数据集的示例。

原始信息汇总

数据集概述

数据集名称

• Evaluation run of Vezora/Mistral-22B-v0.1

数据集描述

• 该数据集是自动创建的，用于评估模型Vezora/Mistral-22B-v0.1在Open LLM Leaderboard上的表现。
• 数据集由63个配置组成，每个配置对应一个评估任务。
• 数据集基于2次运行创建，每次运行作为一个特定的分割，分割名称使用运行的时间戳命名。
• 存在一个名为"train"的分割，始终指向最新的结果。
• 还有一个额外的配置"results"，存储所有运行的聚合结果，用于计算和显示聚合指标。

数据集结构

• 每个配置包含多个分割，包括特定时间戳的分割和"latest"分割。
• 示例加载代码： python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Vezora__Mistral-22B-v0.1", "harness_winogrande_5", split="train")

最新结果

• 提供了多个任务的最新评估结果，包括准确率(acc)、标准误差(acc_stderr)等指标。
• 结果示例： python { "all": { "acc": 0.4833832480987784, "acc_stderr": 0.03466187745905523, ... }, ... }

配置详情

• 每个配置包含多个数据文件，每个文件对应一个特定的分割。
• 示例配置：
  • config_name: harness_arc_challenge_25
  • data_files:
    • split: 2024_04_15T11_40_07.866151
    • split: 2024_04_15T14_38_03.163891
    • split: latest
• 其他配置如harness_gsm8k_5和harness_hellaswag_10等，均遵循相似的结构。

结论

该数据集专为评估特定模型在多个任务上的性能而设计，提供了详细的配置和结果，便于分析和比较模型的表现。