open-llm-leaderboard-old/details_Nitral-AI__Stanta-Lelemon-Maid-7B

该数据集是在Open LLM Leaderboard上对模型Nitral-AI/Stanta-Lelemon-Maid-7B进行评估时自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置存储了所有运行的聚合结果，并用于计算和显示在Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集来源

• 数据集名称: Evaluation run of Nitral-AI/Stanta-Lelemon-Maid-7B
• 创建背景: 该数据集是在模型 Nitral-AI/Stanta-Lelemon-Maid-7B 在 Open LLM Leaderboard 上的评估运行期间自动创建的。

数据集结构

• 配置数量: 63个配置，每个配置对应一个评估任务。
• 数据来源: 数据集由1次运行创建，每个运行的详细结果可以在每个配置中找到，以运行的时间戳命名的特定分片形式存储。"train" 分片始终指向最新的结果。
• 额外配置: 一个名为 "results" 的额外配置存储了所有运行的聚合结果，用于计算并在 Open LLM Leaderboard 上显示聚合指标。

数据加载示例

• Python代码示例: python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Nitral-AI__Stanta-Lelemon-Maid-7B", "harness_winogrande_5", split="train")

最新结果

• 最新结果来源: 这些是最新的结果，来自2024-04-02T21:55:29.755449的运行。
• 结果示例: python { "all": { "acc": 0.6502673274605925, "acc_stderr": 0.03212466853426241, "acc_norm": 0.6519697657151704, "acc_norm_stderr": 0.032769330700968775, "mc1": 0.42717258261933905, "mc1_stderr": 0.01731683441096393, "mc2": 0.5957979284348149, "mc2_stderr": 0.015352861274064818 }, "harness|arc:challenge|25": { "acc": 0.6484641638225256, "acc_stderr": 0.013952413699600938, "acc_norm": 0.6757679180887372, "acc_norm_stderr": 0.013678810399518824 }, "harness|hellaswag|10": { "acc": 0.6802429794861581, "acc_stderr": 0.004654291661255905, "acc_norm": 0.8602867954590719, "acc_norm_stderr": 0.003459806991389837 }, # 其他任务的结果... }

配置详情

• 配置名称: 例如 harness_arc_challenge_25, harness_gsm8k_5, harness_hellaswag_10, harness_hendrycksTest_5 等。
• 数据文件: 每个配置包含多个数据文件，以特定的时间戳命名的分片形式存储，包括 latest 分片。