open-llm-leaderboard-old/details_LoupGarou__WizardCoder-Guanaco-15B-V1.1

该数据集是在评估模型LoupGarou/WizardCoder-Guanaco-15B-V1.1在Open LLM Leaderboard上的表现时自动创建的。数据集由64个配置组成，每个配置对应一个评估任务。数据集由2次运行创建，每次运行可以在每个配置中找到特定的分割，分割以运行的时间戳命名。"train"分割始终指向最新的结果。此外，一个名为"results"的配置存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集简介

该数据集是在对模型 LoupGarou/WizardCoder-Guanaco-15B-V1.1 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集结构

• 数据集包含 64 个配置，每个配置对应一个评估任务。
• 数据集从 2 次运行中创建，每次运行作为一个特定的分割存储，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_LoupGarou__WizardCoder-Guanaco-15B-V1.1", "harness_winogrande_5", split="train")

最新结果

以下是 2023-09-22T15:52:30.106380 运行的最新结果： python { "all": { "em": 0.10580956375838926, "em_stderr": 0.003150047651575815, "f1": 0.16983640939597303, "f1_stderr": 0.0033726302998826852, "acc": 0.2945942759965605, "acc_stderr": 0.009278567029891577 }, "harness|drop|3": { "em": 0.10580956375838926, "em_stderr": 0.003150047651575815, "f1": 0.16983640939597303, "f1_stderr": 0.0033726302998826852 }, "harness|gsm8k|5": { "acc": 0.02880970432145565, "acc_stderr": 0.004607484283767452 }, "harness|winogrande|5": { "acc": 0.5603788476716653, "acc_stderr": 0.013949649776015703 } }

配置详情

以下是数据集的配置详情：

• config_name: harness_arc_challenge_25

  • split: 2023_07_19T21_04_47.997241
    • path: **/details_harness|arc:challenge|25_2023-07-19T21:04:47.997241.parquet
  • split: latest
    • path: **/details_harness|arc:challenge|25_2023-07-19T21:04:47.997241.parquet

• config_name: harness_drop_3

  • split: 2023_09_22T15_52_30.106380
    • path: **/details_harness|drop|3_2023-09-22T15-52-30.106380.parquet
  • split: latest
    • path: **/details_harness|drop|3_2023-09-22T15-52-30.106380.parquet

• config_name: harness_gsm8k_5

  • split: 2023_09_22T15_52_30.106380
    • path: **/details_harness|gsm8k|5_2023-09-22T15-52-30.106380.parquet
  • split: latest
    • path: **/details_harness|gsm8k|5_2023-09-22T15-52-30.106380.parquet

• config_name: harness_hellaswag_10

  • split: 2023_07_19T21_04_47.997241
    • path: **/details_harness|hellaswag|10_2023-07-19T21:04:47.997241.parquet
  • split: latest
    • path: **/details_harness|hellaswag|10_2023-07-19T21:04:47.997241.parquet

• config_name: harness_hendrycksTest_5

  • split: 2023_07_19T21_04_47.997241
    • path:
      • **/details_harness|hendrycksTest-abstract_algebra|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-anatomy|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-astronomy|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-business_ethics|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-clinical_knowledge|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-college_biology|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-college_chemistry|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-college_computer_science|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-college_mathematics|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-college_medicine|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-college_physics|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-computer_security|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-conceptual_physics|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-econometrics|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-electrical_engineering|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-elementary_mathematics|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-formal_logic|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-global_facts|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-high_school_biology|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-high_school_chemistry|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-high_school_computer_science|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-high_school_european_history|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-high_school_geography|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-high_school_mathematics|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-high_school_microeconomics|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-high_school_physics|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-high_school_psychology|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-high_school_statistics|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-high_school_us_history|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-high_school_world_history|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-human_aging|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-human_sexuality|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-international_law|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-jurisprudence|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-logical_fallacies|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-machine_learning|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-management|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-marketing|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-medical_genetics|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-miscellaneous|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-moral_disputes|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-moral_scenarios|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-nutrition|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-philosophy|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-prehistory|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-professional_accounting|5_2023-07-19T21:04:47.997241.parquet
      • **/details_harness|hendrycksTest-professional_law|5_2023-07-19T2

搜集汇总

数据集介绍

构建方式

在开放大语言模型排行榜（Open LLM Leaderboard）的评估框架下，该数据集通过自动化流程构建，专门用于记录LoupGarou/WizardCoder-Guanaco-15B-V1.1模型的评测细节。数据集包含64个配置（configurations），每个配置对应一项被评估的任务，例如ARC挑战、DROP、GSM8K、HellaSwag及涵盖57个学科领域的HendrycksTest等。数据来源于两次独立的运行（run），每次运行的结果以时间戳命名作为单独的分割（split），而“train”分割始终指向最新一次运行的结果。此外，一个名为“results”的额外配置存储了所有运行的聚合指标，用于排行榜上的综合度量计算与展示。数据以Parquet格式存储，便于高效加载与处理。

使用方法

使用该数据集时，可通过Hugging Face的datasets库便捷加载。例如，调用load_dataset函数，指定数据集名称如'open-llm-leaderboard/details_LoupGarou__WizardCoder-Guanaco-15B-V1.1'，并选择具体配置如'harness_winogrande_5'，再通过split参数指定'latest'或特定时间戳分割即可获取相应数据。对于聚合结果，可通过加载'results'配置获取JSON格式的指标数据，其中包含了各任务的性能统计。建议在分析时优先使用'latest'分割以获取最新评测结果，并利用不同配置对比模型在各类任务上的表现差异。

背景与挑战

背景概述

在大型语言模型（LLM）迅猛发展的时代，如何系统性地评估模型在多样化自然语言理解与推理任务上的表现，已成为学术界与工业界的核心议题。Open LLM Leaderboard由Hugging Face团队（主要联系人Clementine于2023年主导）创建，旨在为社区提供一个公开、可复现的模型性能比较平台。该数据集记录了LoupGarou/WizardCoder-Guanaco-15B-V1.1模型在多项基准测试（如DROP、GSM8K、WinoGrande及涵盖57个学科的MMLU）上的评估结果，通过自动化流程生成64个配置项，每个配置对应特定任务与评估轮次。其核心研究问题在于揭示模型在推理、数学、常识与知识广度上的能力边界，为后续模型优化提供参照。该数据集的开源特性极大促进了LLM评估的透明化，成为衡量模型进展的重要标尺。

当前挑战

该数据集所解决的领域挑战在于，LLM评估缺乏统一标准与细粒度结果的可比性，导致不同模型间的性能难以直接对照。通过标准化任务（如GSM8K测试数学推理、DROP测试文本理解）和统一的评估框架，该数据集缓解了指标碎片化问题。构建过程中面临的挑战包括：需整合来自不同时间戳的多次评估轮次（如2023年7月与9月的运行），确保数据版本一致性与结果可追溯性；处理57个MMLU子任务的庞大数据文件路径，避免配置混淆；以及设计灵活的API（如按任务和分割加载数据）以支持社区复用。这些技术细节要求数据集在结构上既要保证完整性，又要兼顾易用性，从而在动态更新的评估生态中维持可靠性。

常用场景

经典使用场景

在开放大语言模型评测领域，该数据集作为Open LLM Leaderboard的评估结果记录，被广泛用于对特定模型（如LoupGarou/WizardCoder-Guanaco-15B-V1.1）在多任务基准上的性能进行细粒度分析。其经典使用场景是通过加载各个评测任务的配置（如harness_winogrande_5、harness_gsm8k_5等），研究者能够获取模型在常识推理、数学求解、文本理解等维度上的精确指标，从而量化模型的能力边界。数据集以64个配置分别对应不同任务，并保留多次运行的时间戳分片，支持对模型性能的纵向追踪与复现验证，为模型迭代与优化提供了可靠的数据基础。

解决学术问题

该数据集有效解决了大语言模型评估中结果碎片化与不可复现的痛点。在学术研究中，模型性能的透明对比长期受限于评估流程的不统一与原始日志的缺失。通过结构化存储每次运行的详细指标（如准确率、F1值、标准差等），该数据集使得研究者能够精确剖析模型在特定任务上的优劣，例如在DROP阅读理解任务中仅有0.1058的精确匹配率，揭示了模型在复杂推理上的短板。其意义在于构建了标准化的评估范式，推动了模型间公平比较的学术规范，并为后续改进提供了量化的诊断依据。

实际应用

在实际应用中，该数据集为模型选型与部署提供了决策支持。企业在选择开源大模型用于特定业务（如客服对话、代码生成）时，可依据该数据集中各任务（如GSM8K数学推理、WinoGrande常识判断）的得分，快速评估模型在目标场景下的适配性。同时，该数据集记录的多次运行结果可用于监测模型更新后的性能漂移，辅助工程师进行回归测试。其细粒度的任务配置还支持对模型进行针对性微调，例如若发现模型在HellaSwag任务上表现欠佳，可据此优化模型在常识推理方面的训练策略。

数据集最近研究

最新研究方向

在大型语言模型（LLM）评估领域，Open LLM Leaderboard 已成为衡量模型性能的关键基准平台。该数据集记录了 WizardCoder-Guanaco-15B-V1.1 模型的评测结果，涵盖 ARC Challenge、DROP、GSM8K 等多项核心任务，其最新结果显示模型在 Winogrande 上达到 56.04% 的准确率，而在 GSM8K 上仅为 2.88%，凸显了当前模型在数学推理任务中的显著短板。这一研究方向聚焦于构建标准化、多维度的大模型评测体系，通过细粒度的任务分解和结果追踪，推动模型在常识推理、数学计算和知识问答等前沿领域的性能优化，为后续指令微调与强化学习方法的迭代提供了关键数据支撑，对促进开源大模型的透明化评估与公平竞争具有里程碑意义。