open-llm-leaderboard-old/details_nisten__shqiponja-59b-v1

该数据集是在模型nisten/shqiponja-59b-v1在Open LLM Leaderboard上的评估运行期间自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集包含1次运行的结果，每次运行在每个配置中表示为特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，名为results的配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用`datasets`库中的`load_dataset`函数加载数据集的示例。该数据集是在模型nisten/shqiponja-59b-v1在Open LLM Leaderboard上的评估运行期间自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集包含1次运行的结果，每次运行在每个配置中表示为特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，名为results的配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用`datasets`库中的`load_dataset`函数加载数据集的示例。

原始信息汇总

数据集概述

该数据集是在模型 nisten/shqiponja-59b-v1 的评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集组成

• 数据集包含 63 个配置，每个配置对应一个评估任务。
• 数据集从 1 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 额外的 "results" 配置存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_nisten__shqiponja-59b-v1", "harness_winogrande_5", split="train")

最新结果

以下是 2024-01-14T05:56:39.495831 运行 的最新结果： python { "all": { "acc": 0.7432378535506855, "acc_stderr": 0.02859899074099913, "acc_norm": 0.7559556232571321, "acc_norm_stderr": 0.029186017628606568, "mc1": 0.5373317013463892, "mc1_stderr": 0.017454645150970588, "mc2": 0.7043324455434049, "mc2_stderr": 0.014572093049489886 }, "harness|arc:challenge|25": { "acc": 0.6757679180887372, "acc_stderr": 0.01367881039951882, "acc_norm": 0.7005119453924915, "acc_norm_stderr": 0.01338502163731357 }, "harness|hellaswag|10": { "acc": 0.6440948018323043, "acc_stderr": 0.004778081784542404, "acc_norm": 0.8405696076478789, "acc_norm_stderr": 0.0036532880435558015 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.4, "acc_stderr": 0.04923659639173309, "acc_norm": 0.4, "acc_norm_stderr": 0.04923659639173309 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.725925925925926, "acc_stderr": 0.03853254836552003, "acc_norm": 0.725925925925926, "acc_norm_stderr": 0.03853254836552003 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.8552631578947368, "acc_stderr": 0.028631951845930387, "acc_norm": 0.8552631578947368, "acc_norm_stderr": 0.028631951845930387 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.79, "acc_stderr": 0.040936018074033256, "acc_norm": 0.79, "acc_norm_stderr": 0.040936018074033256 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.8075471698113208, "acc_stderr": 0.024262979839372274, "acc_norm": 0.8075471698113208, "acc_norm_stderr": 0.024262979839372274 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.8819444444444444, "acc_stderr": 0.026983346503309382, "acc_norm": 0.8819444444444444, "acc_norm_stderr": 0.026983346503309382 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.5, "acc_stderr": 0.050251890762960605, "acc_norm": 0.5, "acc_norm_stderr": 0.050251890762960605 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.64, "acc_stderr": 0.048241815132442176, "acc_norm": 0.64, "acc_norm_stderr": 0.048241815132442176 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.45, "acc_stderr": 0.049999999999999996, "acc_norm": 0.45, "acc_norm_stderr": 0.049999999999999996 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.7341040462427746, "acc_stderr": 0.03368762932259431, "acc_norm": 0.7341040462427746, "acc_norm_stderr": 0.03368762932259431 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.5196078431372549, "acc_stderr": 0.04971358884367406, "acc_norm": 0.5196078431372549, "acc_norm_stderr": 0.04971358884367406 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.83, "acc_stderr": 0.03775251680686371, "acc_norm": 0.83, "acc_norm_stderr": 0.03775251680686371 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.7659574468085106, "acc_stderr": 0.027678452578212394, "acc_norm": 0.7659574468085106, "acc_norm_stderr": 0.027678452578212394 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.5964912280701754, "acc_stderr": 0.04615186962583707, "acc_norm": 0.5964912280701754, "acc_norm_stderr": 0.04615186962583707 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.7034482758620689, "acc_stderr": 0.03806142687309992, "acc_norm": 0.7034482758620689, "acc_norm_stderr": 0.03806142687309992 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.5846560846560847, "acc_stderr": 0.0253795249107784, "acc_norm": 0.5846560846560847, "acc_norm_stderr": 0.0253795249107784 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.6031746031746031, "acc_stderr": 0.0437588849272706, "acc_norm": 0.6031746031746031, "acc_norm_stderr": 0.0437588849272706 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.57, "acc_stderr": 0.04975698519562428, "acc_norm": 0.57, "acc_norm_stderr": 0.04975698519562428 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.9, "acc_stderr": 0.01706640371965727, "acc_norm": 0.9, "acc_norm_stderr": 0.01706640371965727 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.6551724137931034, "acc_stderr": 0.03344283744280458, "acc_norm": 0.6551724137931034, "acc_norm_stderr": 0.03344283744280458 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.76, "acc_stderr": 0.04292346959909282, "acc_norm": 0.76, "acc_norm_stderr": 0.04292346959909282 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.8666666666666667, "acc_stderr": 0.026544435312706463, "acc_norm": 0.8666666666666667, "acc_norm_stderr": 0.026544435312706463 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.9242424242424242, "acc_stderr": 0.018852670234993093, "acc_norm": 0.9242424242424242, "acc_norm_stderr": 0.018852670234993093 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.9585492227979274, "acc_stderr": 0.014385432857476444, "acc_norm": 0.9585492227979274, "acc_norm_stderr": 0.014385432857476444 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.8076923076923077, "acc_stderr": 0.0199823472086373, "acc_norm": 0.8076923076923077, "acc_norm_stderr": 0.0199823472086373 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.3888888888888889, "acc_stderr": 0.029723278961476668, "acc_norm": 0.3888888888888889, "acc_norm_stderr": 0.029723278961476668 }, "harness|hendrycksTest-high_

搜集汇总

数据集介绍

构建方式

该数据集是在Open LLM Leaderboard评测框架下，对模型nisten/shqiponja-59b-v1进行自动化评估时生成的副产品。数据集由63个配置组成，每个配置对应一项被评估的任务，涵盖了从常识推理到专业学科知识的广泛领域。评估过程执行了单次运行，每次运行的结果被存储为独立的切分，切分名称以运行时间戳命名，而'train'切分始终指向最新一次评估的结果。此外，一个名为'results'的独立配置汇总了所有任务的聚合指标，用于在排行榜上计算和展示模型的综合表现。

特点

该数据集的一大特色在于其结构化的多任务组织方式，每个任务配置均包含详细的评估指标，如准确率及其标准误差，以及针对不同任务类型的归一化指标。数据集中不仅存储了原始评估结果，还提供了如ARCC挑战、HellaSwag、GSM8K等经典基准测试的细粒度得分，以及涵盖57个学科领域的HendrycksTest子任务结果。这种设计使得研究者能够深入分析模型在各类认知维度上的表现差异，从而揭示其优势与短板。

使用方法

使用者可通过HuggingFace的datasets库便捷地加载数据。例如，调用load_dataset函数并指定配置名称（如'harness_winogrande_5'）和切分（如'train'），即可获取特定任务的评估细节。对于需要分析多任务综合性能的场景，可直接访问'results'配置以获取聚合指标。此外，每次运行的结果均以Parquet格式存储，支持高效的数据读取与批量处理，便于进行纵向对比或模型改进的追踪分析。

背景与挑战

背景概述

在大型语言模型（LLM）领域，模型性能的标准化评估是推动技术进步的关键环节。2024年1月，由Hugging Face团队主导的Open LLM Leaderboard项目，针对nisten团队开发的shqiponja-59b-v1模型（一个拥有590亿参数的语言模型）进行了系统性的评估，并生成了本数据集。该数据集的核心研究问题在于如何通过多维度、多任务的基准测试，客观衡量LLM在常识推理、知识问答、数学求解等领域的综合能力。数据集共包含63个配置，覆盖了ARC挑战赛、HellaSwag、MMLU、TruthfulQA、WinoGrande以及GSM8K等经典评测任务，为模型提供了从基础理解到高级推理的全方位检验。这一评估体系不仅为shqiponja-59b-v1模型提供了精确的性能画像，也为后续LLM的迭代优化和横向对比奠定了重要基础，对推动开放、透明的大模型评估生态具有显著影响力。

当前挑战

该数据集所面临的挑战主要体现在两个层面。首先，在领域问题层面，其核心任务是解决LLM评估的全面性与公平性难题。当前模型在MMLU的多个专业领域（如大学数学、高中物理）上表现参差不齐，在GSM8K数学推理任务上准确率仅为15.5%，揭示了模型在复杂逻辑推理和跨学科知识迁移方面存在显著短板。其次，在数据集构建过程中，挑战在于如何确保63个不同任务配置的评测一致性，包括各任务采样数量的标准化（如5-shot、10-shot、25-shot）、不同评测指标（如acc、acc_norm、mc1/mc2）的统一计算，以及多次运行结果的可追溯性。此外，数据集需处理评测结果的时间戳管理，确保最新结果与历史分片之间的逻辑连贯，这对数据存储架构和版本控制提出了较高要求。

常用场景

经典使用场景

该数据集作为Open LLM Leaderboard评估流程的副产品，核心用途在于记录模型nisten/shqiponja-59b-v1在63项标准化自然语言理解与推理任务上的细粒度表现。研究者可基于此数据集复现模型的评估结果，深入剖析模型在不同领域（如科学、数学、伦理、医学等）的优劣，从而为模型迭代提供精确的指标参照。

解决学术问题

该数据集解决了大语言模型评估中结果可复现性不足与细粒度分析缺失的学术难题。通过提供结构化的评测日志与聚合指标，它使得研究者能够系统性地对比模型在ARC、HellaSwag、MMLU、TruthfulQA等经典基准上的表现，进而揭示模型在常识推理、知识掌握与事实一致性等方面的能力边界，推动更公正、透明的模型比较范式。

衍生相关工作

该数据集衍生了多项关于大模型评估标准化与结果分析的研究工作。例如，基于其细粒度评测记录，研究者进一步提出了跨模型能力图谱构建方法，以及针对特定任务（如数学推理或医学知识）的深度诊断工具。此外，该数据集还为Open LLM Leaderboard的排名算法优化提供了数据支撑，催生了更鲁棒的聚合评分策略与置信区间计算方案。