open-llm-leaderboard-old/details_WizardLM__WizardLM-13B-V1.2

该数据集是在评估模型WizardLM/WizardLM-13B-V1.2时自动创建的。数据集由64个配置组成，每个配置对应一个评估任务。数据集从2次运行中创建，每次运行的结果作为特定配置中的一个分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，一个名为results的配置存储了所有运行的聚合结果，并用于计算和显示在Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集名称

• Evaluation run of WizardLM/WizardLM-13B-V1.2

数据集描述

• 该数据集是在对模型 WizardLM/WizardLM-13B-V1.2 进行评估运行期间自动创建的。
• 数据集包含 64 个配置，每个配置对应一个评估任务。
• 数据集从 2 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

最新结果

• 最新结果来自 2023-10-18T23:07:01.737511 运行，具体结果如下： python { "all": { "em": 0.09133808724832215, "em_stderr": 0.002950304012601038, "f1": 0.1617292365771806, "f1_stderr": 0.0032231699829319426, "acc": 0.4269860152120696, "acc_stderr": 0.011021928189223498 }, "harness|drop|3": { "em": 0.09133808724832215, "em_stderr": 0.002950304012601038, "f1": 0.1617292365771806, "f1_stderr": 0.0032231699829319426 }, "harness|gsm8k|5": { "acc": 0.13495072024260804, "acc_stderr": 0.009411315282571171 }, "harness|winogrande|5": { "acc": 0.7190213101815311, "acc_stderr": 0.012632541095875825 } }

配置详情

• harness_arc_challenge_25

  • 分割：2023_07_26T14_20_40.943670, latest
  • 路径：**/details_harness|arc:challenge|25_2023-07-26T14:20:40.943670.parquet

• harness_drop_3

  • 分割：2023_10_18T23_07_01.737511, latest
  • 路径：**/details_harness|drop|3_2023-10-18T23-07-01.737511.parquet

• harness_gsm8k_5

  • 分割：2023_10_18T23_07_01.737511, latest
  • 路径：**/details_harness|gsm8k|5_2023-10-18T23-07-01.737511.parquet

• harness_hellaswag_10

  • 分割：2023_07_26T14_20_40.943670, latest
  • 路径：**/details_harness|hellaswag|10_2023-07-26T14:20:40.943670.parquet

• harness_hendrycksTest_5

  • 分割：2023_07_26T14_20_40.943670, latest
  • 路径：多个路径，例如 **/details_harness|hendrycksTest-abstract_algebra|5_2023-07-26T14:20:40.943670.parquet

• harness_hendrycksTest_abstract_algebra_5

  • 分割：2023_07_26T14_20_40.943670, latest
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-07-26T14:20:40.943670.parquet

• harness_hendrycksTest_anatomy_5

  • 分割：2023_07_26T14_20_40.943670, latest
  • 路径：**/details_harness|hendrycksTest-anatomy|5_2023-07-26T14:20:40.943670.parquet

• harness_hendrycksTest_astronomy_5

  • 分割：2023_07_26T14_20_40.943670, latest
  • 路径：**/details_harness|hendrycksTest-astronomy|5_2023-07-26T14:20:40.943670.parquet

• harness_hendrycksTest_business_ethics_5

  • 分割：2023_07_26T14_20_40.943670, latest
  • 路径：**/details_harness|hendrycksTest-business_ethics|5_2023-07-26T14:20:40.943670.parquet

• harness_hendrycksTest_clinical_knowledge_5

  • 分割：2023_07_26T14_20_40.943670, latest
  • 路径：**/details_harness|hendrycksTest-clinical_knowledge|5_2023-07-26T14:20:40.943670.parquet

• harness_hendrycksTest_college_biology_5

  • 分割：2023_07_26T14_20_40.943670, latest
  • 路径：**/details_harness|hendrycksTest-college_biology|5_2023-07-26T14:20:40.943670.parquet

• harness_hendrycksTest_college_chemistry_5

  • 分割：2023_07_26T14_20_40.943670, latest
  • 路径：**/details_harness|hendrycksTest-college_chemistry|5_2023-07-26T14:20:40.943670.parquet

• harness_hendrycksTest_college_computer_science_5

  • 分割：2023_07_26T14_20_40.943670, latest
  • 路径：**/details_harness|hendrycksTest-college_computer_science|5_2023-07-26T14:20:40.943670.parquet

• harness_hendrycksTest_college_mathematics_5

  • 分割：2023_07_26T14_20_40.943670, latest
  • 路径：**/details_harness|hendrycksTest-college_mathematics|5_2023-07-26T14:20:40.943670.parquet

• harness_hendrycksTest_college_medicine_5

  • 分割：2023_07_26T14_20_40.943670, latest
  • 路径：**/details_harness|hendrycksTest-college_medicine|5_2023-07-26T14:20:40.943670.parquet

• harness_hendrycksTest_college_physics_5

  • 分割：2023_07_26T14_20_40.943670, latest
  • 路径：**/details_harness|hendrycksTest-college_physics|5_2023-07-26T14:20:40.943670.parquet

• harness_hendrycksTest_computer_security_5

  • 分割：2023_07_26T14_20_40.943670, latest
  • 路径：**/details_harness|hendrycksTest-computer_security|5_2023-07-26T14:20:40.943670.parquet

• harness_hendrycksTest_conceptual_physics_5

  • 分割：2023_07_26T14_20_40.943670, latest
  • 路径：**/details_harness|hendrycksTest-conceptual_physics|5_2023-07-26T14:20:40.943670.parquet

• harness_hendrycksTest_econometrics_5

  • 分割：2023_07_26T14_20_40.943670, latest
  • 路径：**/details_harness|hendrycksTest-econometrics|5_2023-07-26T14:20:40.943670.parquet

• harness_hendrycksTest_electrical_engineering_5

  • 分割：2023_07_26T14_20_40.943670, latest
  • 路径：**/details_harness|hendrycksTest-electrical_engineering|5_2023-07-26T14:20:40.943670.parquet

• harness_hendrycksTest_elementary_mathematics_5

  • 分割：2023_07_26T14_20_40.943670, latest
  • 路径：**/details_harness|hendrycksTest-elementary_mathematics|5_2023-07-26T14:20:40.943670.parquet

搜集汇总

数据集介绍

构建方式

在大型语言模型评估领域，对模型性能的全面量化分析至关重要。该数据集是Open LLM Leaderboard在评估WizardLM/WizardLM-13B-V1.2模型过程中自动生成的产物，其构建方式独具匠心。数据集由64个配置组成，每个配置对应一项评估任务，涵盖了从常识推理到数学求解的多样化维度。数据来源于两次独立的运行，每次运行的结果被存储为特定分割，分割名称采用运行时间戳命名，而'train'分割则始终指向最新一次运行的成果。此外，一个名为'results'的额外配置汇总了所有运行的聚合指标，为模型整体性能的呈现提供了统一视图。

使用方法

使用该数据集进行模型分析时，研究者可通过HuggingFace的datasets库便捷加载。例如，通过load_dataset函数指定配置名称如'harness_winogrande_5'和分割为'train'，即可获取最新评估详情。若需探索历史数据，只需将分割参数替换为对应的时间戳字符串。对于需要全局性能概览的场景，加载'results'配置即可获得所有任务的聚合指标。这种灵活的数据访问方式，使得研究者既能深入单个任务的微观细节，又能把握模型能力的宏观全貌，从而支撑从模型调试到学术比较的多元应用需求。

背景与挑战

背景概述

在大型语言模型（LLM）迅猛发展的浪潮中，如何系统性地评估模型的多维度能力成为学术界与工业界共同关注的核心议题。Open LLM Leaderboard由Hugging Face团队于2023年发起，旨在为开源LLM提供标准化、透明化的性能基准。该数据集记录了对WizardLM/WizardLM-13B-V1.2模型的完整评估过程，涵盖ARC、HellaSwag、MMLU、GSM8K、Winogrande及DROP等多样化任务，涉及常识推理、数学计算、阅读理解及知识问答等领域。评估由Clementine等人主导，采用统一的语言模型评估框架（EleutherAI LM Harness），确保结果可复现。该数据集不仅揭示了WizardLM-13B-V1.2在推理任务上的表现（如Winogrande准确率达71.9%），更推动了社区对模型能力边界与评估方法论的系统性反思。

当前挑战

该数据集所反映的挑战涵盖两大层面。其一，在领域问题层面，LLM评估面临任务多样性不足与指标碎片化的困境，单一准确率或F1分数难以全面刻画模型的鲁棒性与泛化能力，例如WizardLM-13B-V1.2在DROP任务上的F1得分仅16.2%，暴露出复杂推理场景下的性能瓶颈。其二，在构建过程中，数据集需处理多轮次评估的时间一致性，不同运行批次（如2023年7月与10月）的结果需通过分片存储与版本化管理来避免偏差；此外，MMLU等大规模测试集包含57个子领域，数据文件组织与加载的复杂度显著增加，对自动化流水线的容错性与可扩展性提出了严苛要求。

常用场景

经典使用场景

在大型语言模型的评估生态中，Open LLM Leaderboard 评测数据集为模型性能的横向对比提供了标准化基准。该数据集记录了 WizardLM-13B-V1.2 在多项经典自然语言理解与推理任务上的细粒度表现，涵盖 ARC-Challenge、HellaSwag、WinoGrande、GSM8K 及 MMLU 等广泛认可的评测子集。其核心用途在于复现和验证模型在零样本或少样本设定下的推理能力、常识理解与数学问题求解水平，成为研究者评估模型综合实力的重要参照。

解决学术问题

该数据集解决了大语言模型评测中普遍存在的可重复性危机与结果碎片化问题。通过将同一模型的多次评估结果以标准化格式存储，并公开完整的任务配置与运行时间戳，研究者得以追溯模型在不同时期、不同任务上的准确率、F1 分数等关键指标。这为探究模型能力演化轨迹、诊断特定任务上的失败模式以及验证训练策略改进效果提供了坚实的数据基础，推动了评测流程的透明化与规范化。

实际应用

在实际产业应用中，该数据集可作为模型选型与部署决策的量化依据。企业开发者通过查阅 WizardLM-13B-V1.2 在 WinoGrande 上的 71.9% 准确率或 GSM8K 上的 13.5% 数学推理得分，能够迅速判断模型在特定业务场景（如智能客服的常识问答、教育产品的数理推理）中的适用性。同时，数据集提供的细粒度错误统计（如 EM 与 F1 的标准误）有助于工程团队评估模型输出的稳定性，从而在成本与性能之间做出权衡。

数据集最近研究

最新研究方向

当前，大语言模型的性能评估已成为推动自然语言处理领域进步的核心议题。Open LLM Leaderboard 作为业界公认的标杆，为模型提供了多维度的量化评价体系。WizardLM-13B-V1.2 在这一框架下的评估数据，不仅涵盖了常识推理（如 Winogrande）、数学解题（GSM8K）和阅读理解（DROP）等关键任务，还通过细粒度的指标（如准确率、F1分数）揭示了模型在不同认知层次上的表现。该数据集的最新研究方向聚焦于构建更全面、更动态的模型能力图谱，以应对日益复杂的人机交互需求。其意义在于，通过标准化评测，能够精准定位模型短板，引导研究者优化训练策略，从而加速通用人工智能的迭代进程。这一工作为后续模型间公平比较与性能突破奠定了坚实基础。