open-llm-leaderboard-old/details_macadeliccc__Monarch-7B-SFT

该数据集是在模型macadeliccc/Monarch-7B-SFT在Open LLM Leaderboard上的评估运行期间自动创建的。数据集由63个配置组成，每个配置对应一个被评估的任务。它由2次运行创建，每次运行在每个配置中作为一个特定的分割，使用运行的时间戳命名。train分割始终指向最新的结果。一个名为results的额外配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了一个Python代码片段来加载运行中的详细信息，并列出了特定运行的最新结果。

原始信息汇总

数据集概述

数据集创建

• 创建背景：该数据集是在对模型 macadeliccc/Monarch-7B-SFT 进行评估运行期间自动创建的。
• 评估平台：数据集用于 Open LLM Leaderboard。

数据集结构

• 配置数量：数据集包含 63 个配置，每个配置对应一个评估任务。
• 运行次数：数据集从 2 次运行中创建，每个运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳。
• 最新结果："train" 分割始终指向最新的结果。
• 结果汇总：一个额外的配置 "results" 存储所有运行的汇总结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_macadeliccc__Monarch-7B-SFT", "harness_winogrande_5", split="train")

最新结果

• 结果来源：这些是最新结果，来自 2024-02-22T13:27:32.019860 的运行。
• 详细指标：包含多个任务的准确率（acc）、标准化准确率（acc_norm）、标准误差（acc_stderr、acc_norm_stderr）等指标。

配置详情

• 配置名称：如 harness_arc_challenge_25、harness_gsm8k_5、harness_hellaswag_10、harness_hendrycksTest_5 等。
• 数据文件：每个配置包含多个分割，如 2024_02_22T13_21_25.365861、2024_02_22T13_27_32.019860 和 latest，每个分割对应一个或多个数据文件路径。

数据文件路径示例

• 示例路径：如 **/details_harness|arc:challenge|25_2024-02-22T13-21-25.365861.parquet。