open-llm-leaderboard-old/details_uukuguy__Mistral-7B-OpenOrca-lora

该数据集是在模型 uukuguy/Mistral-7B-OpenOrca-lora 在 Open LLM Leaderboard 上的评估运行期间自动创建的。数据集由 64 个配置组成，每个配置对应一个评估任务。数据集是从 1 次运行中创建的，每次运行在每个配置中作为一个特定的分割找到，分割名称使用运行的时间戳。train 分割始终指向最新结果。一个额外的配置 results 存储了运行的所有聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。README 还提供了如何使用 Python 中的 datasets 库加载运行中的详细信息的示例。

原始信息汇总

数据集概述

数据集摘要

该数据集是在评估模型 uukuguy/Mistral-7B-OpenOrca-lora 在 Open LLM Leaderboard 上的自动创建的。数据集包含 64 个配置，每个配置对应一个评估任务。数据集从 1 次运行中创建，每个运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train" 分割始终指向最新的结果。

数据集结构

数据集包含多个配置，每个配置对应不同的评估任务。以下是部分配置的详细信息：

• harness_arc_challenge_25

  • 分割：2023_11_13T15_44_18.785582
  • 路径：**/details_harness|arc:challenge|25_2023-11-13T15-44-18.785582.parquet
  • 分割：latest
  • 路径：**/details_harness|arc:challenge|25_2023-11-13T15-44-18.785582.parquet

• harness_drop_3

  • 分割：2023_11_13T15_44_18.785582
  • 路径：**/details_harness|drop|3_2023-11-13T15-44-18.785582.parquet
  • 分割：latest
  • 路径：**/details_harness|drop|3_2023-11-13T15-44-18.785582.parquet

• harness_gsm8k_5

  • 分割：2023_11_13T15_44_18.785582
  • 路径：**/details_harness|gsm8k|5_2023-11-13T15-44-18.785582.parquet
  • 分割：latest
  • 路径：**/details_harness|gsm8k|5_2023-11-13T15-44-18.785582.parquet

• harness_hellaswag_10

  • 分割：2023_11_13T15_44_18.785582
  • 路径：**/details_harness|hellaswag|10_2023-11-13T15-44-18.785582.parquet
  • 分割：latest
  • 路径：**/details_harness|hellaswag|10_2023-11-13T15-44-18.785582.parquet

• harness_hendrycksTest_5

  • 分割：2023_11_13T15_44_18.785582
  • 路径：
    • **/details_harness|hendrycksTest-abstract_algebra|5_2023-11-13T15-44-18.785582.parquet
    • **/details_harness|hendrycksTest-anatomy|5_2023-11-13T15-44-18.785582.parquet
    • **/details_harness|hendrycksTest-astronomy|5_2023-11-13T15-44-18.785582.parquet
    • **/details_harness|hendrycksTest-business_ethics|5_2023-11-13T15-44-18.785582.parquet
    • **/details_harness|hendrycksTest-clinical_knowledge|5_2023-11-13T15-44-18.785582.parquet
    • **/details_harness|hendrycksTest-college_biology|5_2023-11-13T15-44-18.785582.parquet
    • **/details_harness|hendrycksTest-college_chemistry|5_2023-11-13T15-44-18.785582.parquet
    • **/details_harness|hendrycksTest-college_computer_science|5_2023-11-13T15-44-18.785582.parquet
    • **/details_harness|hendrycksTest-college_mathematics|5_2023-11-13T15-44-18.785582.parquet
    • **/details_harness|hendrycksTest-college_medicine|5_2023-11-13T15-44-18.785582.parquet
    • **/details_harness|hendrycksTest-college_physics|5_2023-11-13T15-44-18.785582.parquet

最新结果

以下是 最新结果 的摘要：

python { "all": { "acc": 0.6351832920969729, "acc_stderr": 0.03210898212657927, "acc_norm": 0.6445450507876114, "acc_norm_stderr": 0.03280393070910138, "mc1": 0.2839657282741738, "mc1_stderr": 0.015785370858396725, "mc2": 0.4274271734982197, "mc2_stderr": 0.014247308828610854, "em": 0.0019924496644295304, "em_stderr": 0.00045666764626669387, "f1": 0.06191694630872485, "f1_stderr": 0.0013823026381279647 }, "harness|arc:challenge|25": { "acc": 0.5742320819112628, "acc_stderr": 0.014449464278868807, "acc_norm": 0.6194539249146758, "acc_norm_stderr": 0.014188277712349814 }, "harness|hellaswag|10": { "acc": 0.6357299342760406, "acc_stderr": 0.004802413919932666, "acc_norm": 0.8361880103565027, "acc_norm_stderr": 0.003693484894179416 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.29, "acc_stderr": 0.045604802157206845, "acc_norm": 0.29, "acc_norm_stderr": 0.045604802157206845 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.6444444444444445, "acc_stderr": 0.04135176749720385, "acc_norm": 0.6444444444444445, "acc_norm_stderr": 0.04135176749720385 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.6644736842105263, "acc_stderr": 0.03842498559395268, "acc_norm": 0.6644736842105263, "acc_norm_stderr": 0.03842498559395268 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.58, "acc_stderr": 0.049604496374885836, "acc_norm": 0.58, "acc_norm_stderr": 0.049604496374885836 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.6792452830188679, "acc_stderr": 0.028727502957880267, "acc_norm": 0.6792452830188679, "acc_norm_stderr": 0.028727502957880267 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.7361111111111112, "acc_stderr": 0.03685651095897532, "acc_norm": 0.7361111111111112, "acc_norm_stderr": 0.03685651095897532 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.49, "acc_stderr": 0.05024183937956911, "acc_norm": 0.49, "acc_norm_stderr": 0.05024183937956911 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.52, "acc_stderr": 0.050211673156867795, "acc_norm": 0.52, "acc_norm_stderr": 0.050211673156867795 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.35, "acc_stderr": 0.047937248544110196, "acc_norm": 0.35, "acc_norm_stderr": 0.047937248544110196 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.6358381502890174, "acc_stderr": 0.03669072477416907, "acc_norm": 0.6358381502890174, "acc_norm_stderr": 0.03669072477416907 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.38235294117647056, "acc_stderr": 0.04835503696107223, "acc_norm": 0.38235294117647056, "acc_norm_stderr": 0.04835503696107223 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.79, "acc_stderr": 0.04093601807403326, "acc_norm": 0.79, "acc_norm_stderr": 0.04093601807403326 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.5787234042553191, "acc_stderr": 0.03227834510146268, "acc_norm": 0.5787234042553191, "acc_norm_stderr": 0.03227834510146268 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.5087719298245614, "acc_stderr": 0.04702880432049615, "acc_norm": 0.5087719298245614, "acc_norm_stderr": 0.04702880432049615 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.5793103448275863, "acc_stderr": 0.0411391498118926, "acc_norm": 0.5793103448275863, "acc_norm_stderr": 0.0411391498118926 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.373015873015873, "acc_stderr": 0.02490699045899257, "acc_norm": 0.373015873015873, "acc_norm_stderr": 0.02490699045899257 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.40476190476190477, "acc_stderr": 0.0

搜集汇总

数据集介绍

构建方式

在大规模语言模型评估领域，Open LLM Leaderboard 为模型性能的横向比较提供了标准化平台。该数据集是针对 uukuguy/Mistral-7B-OpenOrca-lora 模型在公开排行榜上进行评估时自动生成的副产品，涵盖了64个评测任务配置，每个配置对应一个具体的评估任务。数据集基于单次运行构建，每次运行结果被存储为独立的分割（split），并以运行时间戳命名，而 'train' 分割始终指向最新的评估结果。此外，一个名为 'results' 的独立配置聚合了所有任务的综合指标，用于在排行榜上展示汇总性能。

特点

该数据集的结构设计精巧且层次分明，其最显著的特征在于多任务覆盖的全面性，囊括了从常识推理（如 ARC、HellaSwag）到数学解题（GSM8K）、从知识问答（MMLU 子集）到文本理解（Winogrande）等多样化的评测维度。每个任务配置下的数据以 Parquet 格式存储，保证了高效存取。数据集还保留了评估过程的细粒度细节，包括准确率、标准差等统计量，便于研究者深入分析模型在不同领域的表现差异，并支持历史运行结果的追溯与对比。

使用方法

研究人员可通过 Hugging Face Datasets 库便捷地加载该数据集。例如，使用 load_dataset 函数并指定任务配置名（如 'harness_winogrande_5'）和分割名称（如 'train'）即可获取最新评估数据。对于需要分析特定运行结果的场景，可依据时间戳命名的分割加载历史数据。此外，'results' 配置提供了聚合后的整体性能指标，用户可直接调用以快速获取模型在全部任务上的综合得分，适用于模型性能报告或排行榜排名验证等应用场景。

背景与挑战

背景概述

在大规模语言模型迅猛发展的浪潮中，如何系统性地评估模型在多样化任务上的综合能力成为一项关键挑战。开放大语言模型排行榜（Open LLM Leaderboard）由HuggingFace团队于2023年创建，旨在为社区提供一个透明、可复现的模型评测平台。该数据集记录了模型uukuguy/Mistral-7B-OpenOrca-lora在排行榜上的详细评估结果，涵盖ARC-Challenge、HellaSwag、MMLU、TruthfulQA、Winogrande、DROP和GSM8K等多项基准测试。通过结构化存储每次运行的细粒度性能指标，该数据集不仅揭示了基于Mistral-7B的LoRA微调模型在多领域知识推理和语言理解任务中的表现，更为后续模型优化与对比研究提供了宝贵的基线参考，推动了开放科学背景下语言模型评估的标准化进程。

当前挑战

该数据集所承载的核心挑战体现在两个层面。其一，在领域问题层面，当前大语言模型评测面临任务多样性不足与评估维度单一的困境，例如MMLU涵盖57个学科却难以全面反映模型的真实泛化能力，而DROP与GSM8K等数学推理任务暴露了模型在精确计算与逻辑推导上的显著短板。其二，在构建过程中，数据集的自动化生成机制需应对多次评估运行的时间戳对齐、配置一致性维护以及海量结果聚合的复杂性；同时，不同基准测试的评分标准差异（如准确率、F1分数、EM值）要求统一的数据结构设计，而模型输出波动与随机性也增加了结果可复现的难度，这些技术细节共同构成了构建可靠评测数据集的现实挑战。

常用场景

经典使用场景

该数据集专为Open LLM Leaderboard评测流程设计，核心用途在于系统化记录与存储大语言模型在多维度基准任务上的细粒度评估结果。其经典使用场景涵盖对Mistral-7B-OpenOrca-lora这类微调模型在ARC Challenge、HellaSwag、MMLU、TruthfulQA、Winogrande、DROP及GSM8K等涵盖常识推理、知识理解、数学求解与语言歧义消解等领域的64项配置任务进行标准化性能追踪。研究者可通过加载特定任务配置与时间戳分割，复现模型在特定基准上的精确得分与误差范围，从而支撑模型间的横向对比与纵向迭代分析。

解决学术问题

该数据集精准回应了开放大语言模型评估中普遍存在的可重复性危机与指标碎片化难题。通过统一封装评估运行的全部原始输出与聚合指标，它使得不同研究团队能够基于同一套标准化流程验证模型能力，规避了因评估环境差异导致的结论偏差。其结构化存储模式促进了模型在常识推理、知识问答与数学推理等学术基准上的透明比较，为理解模型在复杂认知任务上的表现边界提供了可靠数据基石，进而推动了评估范式的规范化与社区共识的建立。

衍生相关工作

该数据集衍生了多项关键工作，包括推动Open LLM Leaderboard成为社区公认的模型能力评估基准，激励研究者开发更高效的低秩适配方法（如LoRA）以在保持性能的同时降低计算开销。其细粒度的评测数据为后续研究如模型能力归因分析、任务难度权重校准以及多任务学习中的性能权衡提供了实验基础。此外，该数据集还催生了自动化评估管线的优化工作，促进了如lm-evaluation-harness等工具在标准化评测中的广泛采用。