open-llm-leaderboard/details_uukuguy__GDC-Tiny-L1-1.8B

该数据集是在模型uukuguy/GDC-Tiny-L1-1.8B在Open LLM Leaderboard上的评估运行期间自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集是从4次运行中生成的，每次运行在每个配置中表示为特定的分割，train分割始终指向最新结果。一个名为results的额外配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了一个使用Python中的datasets库加载运行细节的示例。

原始信息汇总

数据集概述

数据集基本信息

• 名称: Evaluation run of uukuguy/GDC-Tiny-L1-1.8B
• 描述: 该数据集是在评估模型uukuguy/GDC-Tiny-L1-1.8B的过程中自动创建的，用于Open LLM Leaderboard。
• 组成: 数据集包含63个配置，每个配置对应一个评估任务。
• 创建来源: 数据集由4次运行创建，每次运行对应一个特定的分割，分割名称使用运行的时间戳命名。

数据集结构

配置详情

• 配置数量: 63
• 配置内容: 每个配置包含一个任务的评估结果。
• 特殊配置: 额外配置“results”存储所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_uukuguy__GDC-Tiny-L1-1.8B", "harness_winogrande_5", split="train")

最新结果

• 结果来源: 来自2024-04-07T19:08:55.303427的运行。
• 结果内容: 包含多个任务的评估结果，如准确率(acc)、标准误差(acc_stderr)等。

示例结果

python { "all": { "acc": 0.43818164678489546, "acc_stderr": 0.03446376592395749, "acc_norm": 0.44061901287311, "acc_norm_stderr": 0.03519031730786029, "mc1": 0.2594859241126071, "mc1_stderr": 0.015345409485557989, "mc2": 0.40282806404013544, "mc2_stderr": 0.014486104033756 }, ... }

以上概述了数据集的基本信息、结构、加载方法以及最新结果的示例。