open-llm-leaderboard-old/details_ALBADDAWI__DeepCode-7B-Aurora-v12

该数据集是在Open LLM Leaderboard上对模型ALBADDAWI/DeepCode-7B-Aurora-v12进行评估运行时自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集是从1次运行中生成的，每次运行在每个配置中表示为特定的分割。train分割始终指向最新的结果。一个名为results的额外配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用`datasets`库中的`load_dataset`函数加载运行中的详细信息的示例。还包括了2024-04-15T12:09:06.672545运行的最新结果，显示了不同任务的各种准确性指标。

原始信息汇总

数据集概述

数据集来源

该数据集是在评估模型 ALBADDAWI/DeepCode-7B-Aurora-v12 在 Open LLM Leaderboard 上的运行过程中自动创建的。

数据集组成

数据集包含 63 个配置，每个配置对应一个评估任务。数据集是从 1 次运行中创建的，每次运行的详细信息可以在每个配置中找到，以运行的时间戳命名的特定分片形式存储。"train" 分片始终指向最新的结果。

额外配置

一个额外的配置 "results" 存储了所有运行的聚合结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。

数据加载示例

以下是加载特定运行详细信息的示例代码： python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_ALBADDAWI__DeepCode-7B-Aurora-v12", "harness_winogrande_5", split="train")

最新结果

以下是 2024-04-15T12:09:06.672545 运行 的最新结果： python { "all": { "acc": 0.5608472572462677, "acc_stderr": 0.03441135950327688, "acc_norm": 0.570942735618394, "acc_norm_stderr": 0.03523740581436983, "mc1": 0.2962056303549572, "mc1_stderr": 0.015983595101811392, "mc2": 0.4045536284239386, "mc2_stderr": 0.015301568217358057 }, "harness|arc:challenge|25": { "acc": 0.5264505119453925, "acc_stderr": 0.014590931358120169, "acc_norm": 0.5554607508532423, "acc_norm_stderr": 0.014521226405627084 }, "harness|hellaswag|10": { "acc": 0.5486954789882493, "acc_stderr": 0.004966060995315059, "acc_norm": 0.7237602071300537, "acc_norm_stderr": 0.004462230363982152 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.35, "acc_stderr": 0.04793724854411022, "acc_norm": 0.35, "acc_norm_stderr": 0.04793724854411022 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.4, "acc_stderr": 0.04232073695151589, "acc_norm": 0.4, "acc_norm_stderr": 0.04232073695151589 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.6381578947368421, "acc_stderr": 0.03910525752849724, "acc_norm": 0.6381578947368421, "acc_norm_stderr": 0.03910525752849724 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.56, "acc_stderr": 0.04988876515698589, "acc_norm": 0.56, "acc_norm_stderr": 0.04988876515698589 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.5547169811320755, "acc_stderr": 0.030588052974270655, "acc_norm": 0.5547169811320755, "acc_norm_stderr": 0.030588052974270655 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.6041666666666666, "acc_stderr": 0.04089465449325582, "acc_norm": 0.6041666666666666, "acc_norm_stderr": 0.04089465449325582 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.52, "acc_stderr": 0.05021167315686779, "acc_norm": 0.52, "acc_norm_stderr": 0.05021167315686779 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.48, "acc_stderr": 0.05021167315686779, "acc_norm": 0.48, "acc_norm_stderr": 0.05021167315686779 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.47, "acc_stderr": 0.050161355804659205, "acc_norm": 0.47, "acc_norm_stderr": 0.050161355804659205 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.5549132947976878, "acc_stderr": 0.03789401760283647, "acc_norm": 0.5549132947976878, "acc_norm_stderr": 0.03789401760283647 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.4215686274509804, "acc_stderr": 0.04913595201274498, "acc_norm": 0.4215686274509804, "acc_norm_stderr": 0.04913595201274498 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.68, "acc_stderr": 0.046882617226215055, "acc_norm": 0.68, "acc_norm_stderr": 0.046882617226215055 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.6425531914893617, "acc_stderr": 0.031329417894764254, "acc_norm": 0.6425531914893617, "acc_norm_stderr": 0.031329417894764254 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.4824561403508772, "acc_stderr": 0.04700708033551038, "acc_norm": 0.4824561403508772, "acc_norm_stderr": 0.04700708033551038 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.6275862068965518, "acc_stderr": 0.0402873153294756, "acc_norm": 0.6275862068965518, "acc_norm_stderr": 0.0402873153294756 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.582010582010582, "acc_stderr": 0.02540255550326091, "acc_norm": 0.582010582010582, "acc_norm_stderr": 0.02540255550326091 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.5476190476190477, "acc_stderr": 0.044518079590553275, "acc_norm": 0.5476190476190477, "acc_norm_stderr": 0.044518079590553275 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.31, "acc_stderr": 0.04648231987117316, "acc_norm": 0.31, "acc_norm_stderr": 0.04648231987117316 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.6258064516129033, "acc_stderr": 0.027528904299845704, "acc_norm": 0.6258064516129033, "acc_norm_stderr": 0.027528904299845704 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.5270935960591133, "acc_stderr": 0.03512819077876105, "acc_norm": 0.5270935960591133, "acc_norm_stderr": 0.03512819077876105 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.72, "acc_stderr": 0.04512608598542127, "acc_norm": 0.72, "acc_norm_stderr": 0.04512608598542127 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.703030303030303, "acc_stderr": 0.035679697722680495, "acc_norm": 0.703030303030303, "acc_norm_stderr": 0.035679697722680495 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.702020202020202, "acc_stderr": 0.03258630383836556, "acc_norm": 0.702020202020202, "acc_norm_stderr": 0.03258630383836556 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.6735751295336787, "acc_stderr": 0.033840286211432945, "acc_norm": 0.6735751295336787, "acc_norm_stderr": 0.033840286211432945 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.5692307692307692, "acc_stderr": 0.025106820660539753, "acc_norm": 0.5692307692307692, "acc_norm_stderr": 0.025106820660539753 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.4185185185185185, "acc_stderr": 0.030078013075022055, "acc_norm": 0.4185185185185185, "acc_norm_stderr": 0.0

搜集汇总

数据集介绍

构建方式

该数据集源于Open LLM Leaderboard对模型ALBADDAWI/DeepCode-7B-Aurora-v12的自动化评估流程。在单次运行中，系统针对63个预设任务配置生成评估结果，每个配置对应一个独立的任务，并将每次运行的数据以时间戳命名分割存储，同时设立指向最新结果的'train'分割。此外，一个名为'results'的额外配置汇集了所有聚合指标，用于在排行榜上展示整体性能。数据以Parquet格式保存，确保高效存取。

特点

该数据集的核心特色在于其结构化的评估记录体系，涵盖ARC挑战赛、HellaSwag、GSM8K、Winogrande等多项基准测试，以及涵盖抽象代数、解剖学、天文学等57个学科的Hendrycks测试集。每个任务配置下存储了准确率及其标准误差等细粒度指标，而'results'配置则提供了如acc、acc_norm、mc1、mc2等聚合统计量，便于研究者从多维度审视模型能力。这种设计不仅保留了单次运行的原始细节，还通过最新分割实现了结果的动态更新。

使用方法

研究者可通过HuggingFace的datasets库便捷加载该数据集。例如，使用`load_dataset`函数指定数据集名称与目标配置（如'harness_winogrande_5'），并选择'train'分割即可获取最新评估详情。如需回溯历史运行，则可选用对应时间戳的分割名称。数据集支持按任务配置独立查询，也可通过'results'配置直接访问整体聚合结果，适用于模型性能对比与复现研究。

背景与挑战

背景概述

大规模语言模型的评测体系是推动自然语言处理领域发展的关键基石。Open LLM Leaderboard作为HuggingFace社区发起的标杆性评测平台，旨在通过标准化流程系统评估开源大语言模型的综合能力。该数据集创建于2024年4月，由HuggingFace团队主导，聚焦于ALBADDAWI/DeepCode-7B-Aurora-v12这一代码生成模型的性能剖析。核心研究问题在于揭示该模型在涵盖常识推理、科学知识、数学逻辑等57项细分任务上的表现，例如其在HellaSwag任务中达到72.4%的归一化准确率，而在GSM8K数学推理任务中仅取得5.6%的准确率，鲜明映射出模型在符号推理领域的显著短板。该数据集通过63个配置项与结构化评估结果，为社区提供了可复现的模型能力画像，对理解7B参数级别模型的泛化边界具有重要参考价值。

当前挑战

当前该数据集所揭示的核心挑战呈现多维交织的态势。从领域问题层面看，DeepCode-7B-Aurora-v12在数学推理（GSM8K准确率5.6%）与高阶科学知识（如大学物理42.2%、专业会计41.1%）等需要严密逻辑链的任务上表现孱弱，暴露出大语言模型在符号计算与领域深度理解之间的鸿沟。构建过程中，评测基准的碎片化构成显著挑战——数据集需整合ARC挑战赛、MMLU多学科测试、TruthfulQA真实性评估等异质性任务，各任务采样策略（如5-shot与25-shot差异）与评价指标（acc、acc_norm、mc1/mc2）的兼容性设计极为复杂。此外，单次评估结果的时间敏感性（2024-04-15运行）与模型持续迭代之间的矛盾，要求数据集必须通过动态更新分割来维护评测时效性，这对存储架构与版本管理提出了严苛要求。

常用场景

经典使用场景

在自然语言处理与大型语言模型评估领域，该数据集作为Open LLM Leaderboard的标准化评测记录，被广泛用于对DeepCode-7B-Aurora-v12等模型进行多任务性能基准测试。它整合了ARC-Challenge、HellaSwag、MMLU（涵盖从抽象代数到病毒学的57个学科）、TruthfulQA、Winogrande及GSM8K等经典基准的细粒度结果，为研究者提供了模型在常识推理、知识理解、事实一致性和数学推理等维度的完整性能画像。

实际应用

在实际应用中，该数据集所承载的评估结果直接服务于模型选型与迭代优化。研发团队可依据其在MMLU各子领域（如医学、法律、计算机科学）的细粒度表现，甄别模型在特定知识领域的长处与短板，进而指导领域适配或微调策略。同时，TruthfulQA与GSM8K的得分有助于评估模型在事实性与数学推理上的可靠性，为教育、医疗等高风险场景的部署提供风险预警。

衍生相关工作

该数据集衍生了一系列关于模型能力诊断与提升的经典工作。例如，研究者基于其细粒度结果构建了模型知识图谱，揭示不同参数量级模型在学科覆盖上的差异；另有一些工作利用其多任务评分分析模型在常识推理（HellaSwag）与对抗性问答（ARC-Challenge）上的泛化边界。此外，该数据集还催生了针对模型事实一致性（TruthfulQA）与数学推理（GSM8K）的专项改进方法，成为后续模型优化的重要参照基线。