open-llm-leaderboard/details_AA051610__C0325-L

该数据集是在模型AA051610/C0325-L的评估运行期间自动创建的，用于Open LLM排行榜的评估。数据集由63个配置组成，每个配置对应一个评估任务。每个配置包含特定的时间戳命名的分割，其中train分割始终指向最新的结果。此外，还有一个results配置，用于存储运行的聚合结果，以便计算和显示排行榜上的聚合指标。

原始信息汇总

数据集概述

数据集基本信息

• 名称: Evaluation run of AA051610/C0325-L
• 创建目的: 自动创建于模型AA051610/C0325-L在Open LLM Leaderboard的评估运行过程中。
• 组成: 包含63个配置，每个配置对应一个评估任务。
• 创建次数: 数据集由1次运行创建。

数据集结构

• 配置详情:
  • 每个配置包含特定任务的评估结果。
  • 每个运行以时间戳命名的特定分割存储。
  • "train"分割指向最新的结果。
  • 额外配置"results"存储所有运行的聚合结果，用于计算和显示聚合指标。

加载数据示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_AA051610__C0325-L", "harness_winogrande_5", split="train")

最新结果

• 结果来源: 来自2024-03-25T05:30:00.497484的运行。
• 结果内容: 包含多个任务的准确率(acc)和标准误差(acc_stderr)等指标。

配置文件详情

• 配置列表:
  • harness_arc_challenge_25
  • harness_gsm8k_5
  • harness_hellaswag_10
  • harness_hendrycksTest_5
• 数据文件:
  • 每个配置包含以时间戳命名的分割文件和最新分割文件。
  • 文件路径格式: **/details_{配置名称}_{时间戳}.parquet