open-llm-leaderboard/details_LoupGarou__WizardCoder-Guanaco-15B-V1.1

该数据集是在Open LLM Leaderboard上对模型LoupGarou/WizardCoder-Guanaco-15B-V1.1进行评估时自动生成的。数据集包含64个配置，每个配置对应一个评估任务。数据集由2次运行生成，每次运行的结果作为一个特定的分割存储在配置中，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于在Open LLM Leaderboard上计算和显示聚合指标。

This dataset was automatically generated during the evaluation of the model LoupGarou/WizardCoder-Guanaco-15B-V1.1 on the Open LLM Leaderboard. It contains 64 configurations, each corresponding to one evaluation task. The dataset is generated from two runs, where the results of each run are stored as a specific split under its corresponding configuration, with the split name being the timestamp of the run. The train split always points to the most recent results. Additionally, there is a configuration named "results" that stores the aggregated results of all runs, which is used to calculate and display the aggregated metrics on the Open LLM Leaderboard.

原始信息汇总

数据集概述

数据集摘要

该数据集是在对模型 LoupGarou/WizardCoder-Guanaco-15B-V1.1 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集结构

• 数据集由64个配置组成，每个配置对应一个评估任务。
• 数据集从2次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_LoupGarou__WizardCoder-Guanaco-15B-V1.1", "harness_winogrande_5", split="train")

最新结果

以下是 2023-09-22T15:52:30.106380 运行的最新结果： python { "all": { "em": 0.10580956375838926, "em_stderr": 0.003150047651575815, "f1": 0.16983640939597303, "f1_stderr": 0.0033726302998826852, "acc": 0.2945942759965605, "acc_stderr": 0.009278567029891577 }, "harness|drop|3": { "em": 0.10580956375838926, "em_stderr": 0.003150047651575815, "f1": 0.16983640939597303, "f1_stderr": 0.0033726302998826852 }, "harness|gsm8k|5": { "acc": 0.02880970432145565, "acc_stderr": 0.004607484283767452 }, "harness|winogrande|5": { "acc": 0.5603788476716653, "acc_stderr": 0.013949649776015703 } }

配置详情

• harness_arc_challenge_25

  • 分割: 2023_07_19T21_04_47.997241
  • 路径: **/details_harness|arc:challenge|25_2023-07-19T21:04:47.997241.parquet
  • 分割: latest
  • 路径: **/details_harness|arc:challenge|25_2023-07-19T21:04:47.997241.parquet

• harness_drop_3

  • 分割: 2023_09_22T15_52_30.106380
  • 路径: **/details_harness|drop|3_2023-09-22T15-52-30.106380.parquet
  • 分割: latest
  • 路径: **/details_harness|drop|3_2023-09-22T15-52-30.106380.parquet

• harness_gsm8k_5

  • 分割: 2023_09_22T15_52_30.106380
  • 路径: **/details_harness|gsm8k|5_2023-09-22T15-52-30.106380.parquet
  • 分割: latest
  • 路径: **/details_harness|gsm8k|5_2023-09-22T15-52-30.106380.parquet

• harness_hellaswag_10

  • 分割: 2023_07_19T21_04_47.997241
  • 路径: **/details_harness|hellaswag|10_2023-07-19T21:04:47.997241.parquet
  • 分割: latest
  • 路径: **/details_harness|hellaswag|10_2023-07-19T21:04:47.997241.parquet

• harness_hendrycksTest_5

  • 分割: 2023_07_19T21_04_47.997241
  • 路径:
    • **/details_harness|hendrycksTest-abstract_algebra|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-anatomy|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-astronomy|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-business_ethics|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-clinical_knowledge|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-college_biology|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-college_chemistry|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-college_computer_science|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-college_mathematics|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-college_medicine|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-college_physics|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-computer_security|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-conceptual_physics|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-econometrics|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-electrical_engineering|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-elementary_mathematics|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-formal_logic|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-global_facts|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-high_school_biology|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-high_school_chemistry|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-high_school_computer_science|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-high_school_european_history|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-high_school_geography|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-high_school_mathematics|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-high_school_microeconomics|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-high_school_physics|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-high_school_psychology|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-high_school_statistics|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-high_school_us_history|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-high_school_world_history|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-human_aging|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-human_sexuality|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-international_law|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-jurisprudence|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-logical_fallacies|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-machine_learning|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-management|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-marketing|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-medical_genetics|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-miscellaneous|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-moral_disputes|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-moral_scenarios|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-nutrition|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-philosophy|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-prehistory|5_2023-07-19T21:04:47.997241.parquet
    • **/details_harness|hendrycksTest-professional_accounting|5_2023-07-19T21:04:47.997241.parquet
    • `**/details_harness|hendrycksTest-professional_law|5_2023-07-19T21:04:

搜集汇总

数据集介绍

构建方式

在大型语言模型评测领域，Open LLM Leaderboard为模型性能的量化评估提供了标准化平台。该数据集是模型LoupGarou/WizardCoder-Guanaco-15B-V1.1在Open LLM Leaderboard上进行评测时自动生成的产物。数据集包含64个配置，每个配置对应一个被评测的任务，这些任务涵盖了从常识推理到专业学科知识的广泛领域。数据集源自两次独立的评测运行，每次运行的结果作为特定分割存储在相应配置中，分割名称以运行的时间戳命名，而'train'分割则始终指向最新一次评测的结果。此外，一个名为'results'的额外配置汇总了所有运行的综合结果，用于在排行榜上计算和展示聚合指标。数据以Parquet格式存储，确保了高效的数据读取与处理。

使用方法

研究者可通过Hugging Face的datasets库便捷地加载该数据集，以分析模型在特定任务上的表现细节。例如，使用load_dataset函数并指定配置名称（如'harness_winogrande_5'）和分割（如'train'），即可获取最新评测结果。若需回溯历史数据，则可通过时间戳命名的分割（如'2023_09_22T15_52_30.106380'）访问特定运行的结果。数据集支持按任务粒度进行深入分析，每个配置下的Parquet文件包含了该任务在特定运行中的详细指标，如准确率、精确匹配率及F1分数等，为模型性能的细粒度诊断和比较研究提供了坚实的数据基础。

背景与挑战

背景概述

随着大语言模型（LLMs）技术的迅猛发展，如何系统性地评估其多维度能力成为学术界与工业界共同关注的核心议题。Open LLM Leaderboard 由 Hugging Face 团队于 2023 年发起，旨在通过标准化基准测试框架，为社区提供透明、可复现的模型性能对比平台。该数据集记录了 LoupGarou 团队开发的 WizardCoder-Guanaco-15B-V1.1 模型在多个经典任务（如 ARC-Challenge、GSM8K、Winogrande 等）上的详细评估结果，涵盖常识推理、数学推理与语言理解等关键领域。作为开放评测生态的重要组成部分，该数据集不仅推动了模型能力的横向比较，还为后续研究提供了宝贵的实验基准，对促进大模型评估体系的规范化与公平性具有深远影响。

当前挑战

该数据集所面对的挑战主要体现在两方面。在领域问题层面，大语言模型在复杂推理任务（如 DROP 阅读理解与 GSM8K 数学推理）中的表现仍显著低于人类水平，例如模型在 GSM8K 上的准确率仅为 2.88%，揭示了当前模型在符号计算与多步推理方面的根本性局限。在构建过程中，数据集需处理来自多次评测运行（2023 年 7 月与 9 月）的异构结果，确保不同时间戳下的评估数据能够被正确对齐与版本管理，同时维护 64 个任务配置的庞大数据结构，对数据一致性与可追溯性提出了严苛要求。此外，评测结果的标准差较大（如 Winogrande 的 acc_stderr 达 1.39%），表明模型性能在不同样本间波动显著，亟需更鲁棒的评估策略以提升结论的统计可靠性。

常用场景

经典使用场景

该数据集作为Open LLM Leaderboard评估流程的产物，主要用于记录和复现LoupGarou/WizardCoder-Guanaco-15B-V1.1模型在多个标准化基准任务上的细粒度评测结果。研究者可通过加载不同配置（如harness_winogrande_5、harness_gsm8k_5等）获取模型在常识推理、数学推理、阅读理解等维度的逐样本表现，从而系统性地分析模型的能力边界与缺陷模式。该数据集以Parquet格式存储，支持按时间戳分片追溯不同运行轮次的结果，为模型迭代过程中的性能对比提供了结构化数据基础。

解决学术问题

该数据集有效回应了大语言模型评估中结果不可复现、细粒度信息缺失的学术痛点。传统leaderboard仅提供宏观聚合指标，而该数据集通过保留每个测试样本的原始预测与标签，使研究者能够深入分析模型在特定子任务或困难样本上的行为模式。例如，通过GSM8K配置下的逐题准确率数据，可诊断数学推理中的符号计算误差；借助DROP的F1分数分布，可评估模型在离散推理任务中的鲁棒性。这种细粒度的评估范式推动了从“排行榜竞赛”向“诊断式评估”的范式迁移。

实际应用

在实际应用中，该数据集可作为模型选型与部署决策的参考依据。企业或开发者可通过分析WizardCoder-Guanaco-15B-V1.1在MMLU、HellaSwag等多样化基准上的表现，判断其是否适用于特定垂直领域，如医疗问答、代码生成或教育辅导。此外，数据集的时间戳分片机制支持持续监控模型更新后的性能漂移，为生产环境中的模型版本管理提供量化支持。其标准化的数据格式也便于集成到自动化评测流水线中，降低人工评估成本。

数据集最近研究

最新研究方向

该数据集聚焦于大语言模型在标准化基准测试中的性能评估，特别是针对开放大语言模型排行榜（Open LLM Leaderboard）中WizardCoder-Guanaco-15B-V1.1模型的评测结果。前沿研究方向涉及跨任务泛化能力、多维度指标（如精确匹配、F1分数、准确率）的细粒度分析，以及模型在推理、常识理解和数学问题求解等核心能力上的表现。该数据集通过记录多轮运行结果，为模型迭代优化提供了可复现的基准，其影响在于推动了大语言模型评测的标准化和透明化，助力社区更准确地追踪模型进步与局限性。