open-llm-leaderboard-old/details_Monero__WizardLM-30B-Uncensored-Guanaco-SuperCOT-30b

该数据集是在模型Monero/WizardLM-30B-Uncensored-Guanaco-SuperCOT-30b的评估运行中自动创建的。数据集由64个配置组成，每个配置对应一个评估任务。数据集由2次运行创建，每次运行可以在每个配置的特定分割中找到，分割以运行的时间戳命名。train分割始终指向最新结果。此外，还有一个名为results的配置存储了所有运行的聚合结果，用于在Open LLM Leaderboard上计算和显示聚合指标。该数据集是在模型Monero/WizardLM-30B-Uncensored-Guanaco-SuperCOT-30b的评估运行中自动创建的。数据集由64个配置组成，每个配置对应一个评估任务。数据集由2次运行创建，每次运行可以在每个配置的特定分割中找到，分割以运行的时间戳命名。train分割始终指向最新结果。此外，还有一个名为results的配置存储了所有运行的聚合结果，用于在Open LLM Leaderboard上计算和显示聚合指标。

原始信息汇总

数据集概述

该数据集是在评估模型 Monero/WizardLM-30B-Uncensored-Guanaco-SuperCOT-30b 在 Open LLM Leaderboard 上的运行过程中自动创建的。

数据集组成

• 数据集包含 64 个配置，每个配置对应一个评估任务。
• 数据集从 2 次运行中创建。每次运行可以在每个配置中找到一个特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Monero__WizardLM-30B-Uncensored-Guanaco-SuperCOT-30b", "harness_winogrande_5", split="train")

最新结果

以下是 2023-09-16T20:24:34.064678 运行的最新结果：

python { "all": { "em": 0.23898909395973153, "em_stderr": 0.004367411698321815, "f1": 0.33218645134228264, "f1_stderr": 0.0042948501285767545, "acc": 0.37893683059743066, "acc_stderr": 0.008783513808235714 }, "harness|drop|3": { "em": 0.23898909395973153, "em_stderr": 0.004367411698321815, "f1": 0.33218645134228264, "f1_stderr": 0.0042948501285767545 }, "harness|gsm8k|5": { "acc": 0.03411675511751327, "acc_stderr": 0.005000212600773271 }, "harness|winogrande|5": { "acc": 0.7237569060773481, "acc_stderr": 0.012566815015698158 } }

配置详情

配置列表

• harness_arc_challenge_25

  • 分割: 2023_07_19T22_53_40.714431
  • 路径: **/details_harness|arc:challenge|25_2023-07-19T22:53:40.714431.parquet
  • 分割: latest
  • 路径: **/details_harness|arc:challenge|25_2023-07-19T22:53:40.714431.parquet

• harness_drop_3

  • 分割: 2023_09_16T20_24_34.064678
  • 路径: **/details_harness|drop|3_2023-09-16T20-24-34.064678.parquet
  • 分割: latest
  • 路径: **/details_harness|drop|3_2023-09-16T20-24-34.064678.parquet

• harness_gsm8k_5

  • 分割: 2023_09_16T20_24_34.064678
  • 路径: **/details_harness|gsm8k|5_2023-09-16T20-24-34.064678.parquet
  • 分割: latest
  • 路径: **/details_harness|gsm8k|5_2023-09-16T20-24-34.064678.parquet

• harness_hellaswag_10

  • 分割: 2023_07_19T22_53_40.714431
  • 路径: **/details_harness|hellaswag|10_2023-07-19T22:53:40.714431.parquet
  • 分割: latest
  • 路径: **/details_harness|hellaswag|10_2023-07-19T22:53:40.714431.parquet

• harness_hendrycksTest_5

  • 分割: 2023_07_19T22_53_40.714431
  • 路径:
    • **/details_harness|hendrycksTest-abstract_algebra|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-anatomy|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-astronomy|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-business_ethics|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-clinical_knowledge|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-college_biology|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-college_chemistry|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-college_computer_science|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-college_mathematics|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-college_medicine|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-college_physics|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-computer_security|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-conceptual_physics|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-econometrics|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-electrical_engineering|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-elementary_mathematics|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-formal_logic|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-global_facts|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-high_school_biology|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-high_school_chemistry|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-high_school_computer_science|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-high_school_european_history|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-high_school_geography|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-high_school_mathematics|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-high_school_microeconomics|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-high_school_physics|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-high_school_psychology|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-high_school_statistics|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-high_school_us_history|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-high_school_world_history|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-human_aging|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-human_sexuality|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-international_law|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-jurisprudence|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-logical_fallacies|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-machine_learning|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-management|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-marketing|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-medical_genetics|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-miscellaneous|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-moral_disputes|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-moral_scenarios|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-nutrition|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-philosophy|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-prehistory|5_2023-07-19T22:53:40.714431.parquet
    • **/details_harness|hendrycksTest-professional_accounting|5_2023-07-19T22:53:40.714431.parquet
    • `**/details_harness

搜集汇总

数据集介绍

构建方式

在大型语言模型性能评估的浪潮中，该数据集作为Open LLM Leaderboard对Monero/WizardLM-30B-Uncensored-Guanaco-SuperCOT-30b模型评估运行的副产品而自动生成。其构建过程基于两次独立的评估运行，每次运行的结果被组织为特定的数据分割，并以运行时间戳命名。数据集囊括了64个配置，每个配置对应一个评估任务，此外还包含一个名为“results”的聚合配置，用于存储所有任务的汇总指标。数据以Parquet格式存储，确保了高效的数据存取与兼容性。

特点

该数据集在结构上独具匠心，通过多配置与多分割的设计，精细地映射了模型在多样化任务上的表现细节。每个评估任务独立成配置，而每次运行结果则作为独立分割保存，其中“train”分割始终指向最新一次的评估数据，便于追踪模型性能的演变。这种设计不仅支持对单一任务进行深度分析，还允许跨任务、跨时间维度的综合对比，为模型迭代与优化提供了丰富的信息基础。

使用方法

研究者可通过HuggingFace的datasets库便捷地加载该数据集。具体操作时，需指定配置名称（如评估任务）和分割（如“train”或具体时间戳），以获取对应任务的详细评估结果。例如，使用load_dataset函数并传入数据集标识符、任务配置及分割名称，即可加载指定任务的评估数据。此外，通过访问“results”配置，可以快速获取所有任务的聚合指标，从而高效地进行模型性能的综合评估与比较。

背景与挑战

背景概述

随着大型语言模型（LLMs）在自然语言处理领域的蓬勃发展，如何系统、公正地评估这些模型的综合能力成为学界与工业界共同关注的焦点。Open LLM Leaderboard由Hugging Face团队于2023年发起，旨在构建一个标准化、透明化的模型评测平台，以解决不同模型间缺乏统一对比基准的困境。该数据集记录了模型Monero/WizardLM-30B-Uncensored-Guanaco-SuperCOT-30b在多个任务上的详细评测结果，涵盖推理、常识、数学及多领域知识等维度，为研究者提供了细粒度的性能分析依据。作为Leaderboard的重要组成部分，该数据集不仅推动了LLM评估范式的规范化，也为后续模型优化与对比研究奠定了坚实基础。

当前挑战

当前LLM评估领域面临多重挑战：首先，模型在多样化任务上的表现差异显著，例如该模型在GSM8K数学推理任务中准确率仅约3.4%，而在Winogrande常识推理上达到72.4%，这种能力失衡揭示了单一指标无法全面反映模型真实水平的问题。其次，评测任务的构建本身存在挑战，包括如何设计具有区分度的基准、避免数据泄露导致的性能虚高，以及确保评测结果的可复现性。此外，该数据集在构建过程中需处理多轮评测的版本管理、异构任务结果的统一聚合，以及海量细粒度数据的存储与高效加载等技术难题，这些均对评估体系的可靠性提出了严峻考验。

常用场景

经典使用场景

该数据集作为Open LLM Leaderboard的评估结果存档，其核心用途在于对Monero/WizardLM-30B-Uncensored-Guanaco-SuperCOT-30b这一大规模语言模型进行标准化测试。研究者和开发者可利用该数据集复现模型在ARC-Challenge、GSM8K、Winogrande等经典基准任务上的表现，从而深入剖析模型在推理、数学解题及常识理解等多维能力上的优劣。数据集按任务配置分组，每个配置包含各次运行的详细结果，便于进行细粒度的性能比较与消融分析。

解决学术问题

该数据集解决了大语言模型评估中结果不透明、难以复现的学术难题。通过公开WizardLM-30B系列模型在多个权威基准上的原始评测细节，为研究者提供了可靠的对比基线。它推动了模型能力量化分析方法的规范化，使得不同研究团队能在统一框架下客观衡量模型在知识问答、数学推理和语言理解等维度的表现，进而促进了对模型泛化能力与局限性的深入理解。

衍生相关工作

该数据集衍生了一系列关于模型评估与改进的经典工作。例如，研究者利用其详尽的评测日志分析了无审查模型在敏感话题上的表现与风险，催生了关于模型安全对齐的讨论。此外，基于该数据集的GSM8K与HellaSwag结果，后续工作探索了思维链提示与指令微调对模型推理能力的提升幅度，为SuperCOT等训练方法的有效性提供了实证支撑。