open-llm-leaderboard/details_uukuguy__Mistral-7B-OpenOrca-lora

该数据集是在Open LLM Leaderboard上对模型uukuguy/Mistral-7B-OpenOrca-lora进行评估时自动创建的。数据集包含64个配置，每个配置对应一个评估任务。数据集由1次运行创建，每次运行可以在每个配置的特定分割中找到，分割名称使用运行的时间戳命名。train分割始终指向最新结果。此外，还有一个名为results的配置存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。

This dataset was automatically created during the evaluation of the model uukuguy/Mistral-7B-OpenOrca-lora on the Open LLM Leaderboard. The dataset consists of 64 configurations, each corresponding to one evaluation task. This dataset was generated through a single run, and the results of each run can be found in the specific splits corresponding to each configuration, with the split names being named after the timestamp of the run. The train split always points to the most recent results. Additionally, there is a configuration named `results` that stores the aggregated results across all runs, and is used to calculate and display the aggregated metrics on the Open LLM Leaderboard.

原始信息汇总

数据集概述

数据集摘要

该数据集是在评估模型 uukuguy/Mistral-7B-OpenOrca-lora 在 Open LLM Leaderboard 上的自动创建的。数据集包含 64 个配置，每个配置对应一个评估任务。

数据集结构

• 配置数量：64 个配置
• 数据来源：从 1 次运行中创建
• 数据分割：每个配置包含特定分割，分割名称使用运行的时间戳。"train" 分割指向最新的结果。
• 额外配置："results" 配置存储所有运行的聚合结果，用于计算和显示聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_uukuguy__Mistral-7B-OpenOrca-lora", "harness_winogrande_5", split="train")

最新结果

这些是最新结果的摘要，来自 2023-11-13T15:44:18.785582 的运行：

python { "all": { "acc": 0.6351832920969729, "acc_stderr": 0.03210898212657927, "acc_norm": 0.6445450507876114, "acc_norm_stderr": 0.03280393070910138, "mc1": 0.2839657282741738, "mc1_stderr": 0.015785370858396725, "mc2": 0.4274271734982197, "mc2_stderr": 0.014247308828610854, "em": 0.0019924496644295304, "em_stderr": 0.00045666764626669387, "f1": 0.06191694630872485, "f1_stderr": 0.0013823026381279647 }, "harness|arc:challenge|25": { "acc": 0.5742320819112628, "acc_stderr": 0.014449464278868807, "acc_norm": 0.6194539249146758, "acc_norm_stderr": 0.014188277712349814 }, "harness|hellaswag|10": { "acc": 0.6357299342760406, "acc_stderr": 0.004802413919932666, "acc_norm": 0.8361880103565027, "acc_norm_stderr": 0.003693484894179416 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.29, "acc_stderr": 0.045604802157206845, "acc_norm": 0.29, "acc_norm_stderr": 0.045604802157206845 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.6444444444444445, "acc_stderr": 0.04135176749720385, "acc_norm": 0.6444444444444445, "acc_norm_stderr": 0.04135176749720385 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.6644736842105263, "acc_stderr": 0.03842498559395268, "acc_norm": 0.6644736842105263, "acc_norm_stderr": 0.03842498559395268 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.58, "acc_stderr": 0.049604496374885836, "acc_norm": 0.58, "acc_norm_stderr": 0.049604496374885836 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.6792452830188679, "acc_stderr": 0.028727502957880267, "acc_norm": 0.6792452830188679, "acc_norm_stderr": 0.028727502957880267 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.7361111111111112, "acc_stderr": 0.03685651095897532, "acc_norm": 0.7361111111111112, "acc_norm_stderr": 0.03685651095897532 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.49, "acc_stderr": 0.05024183937956911, "acc_norm": 0.49, "acc_norm_stderr": 0.05024183937956911 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.52, "acc_stderr": 0.050211673156867795, "acc_norm": 0.52, "acc_norm_stderr": 0.050211673156867795 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.35, "acc_stderr": 0.047937248544110196, "acc_norm": 0.35, "acc_norm_stderr": 0.047937248544110196 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.6358381502890174, "acc_stderr": 0.03669072477416907, "acc_norm": 0.6358381502890174, "acc_norm_stderr": 0.03669072477416907 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.38235294117647056, "acc_stderr": 0.04835503696107223, "acc_norm": 0.38235294117647056, "acc_norm_stderr": 0.04835503696107223 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.79, "acc_stderr": 0.04093601807403326, "acc_norm": 0.79, "acc_norm_stderr": 0.04093601807403326 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.5787234042553191, "acc_stderr": 0.03227834510146268, "acc_norm": 0.5787234042553191, "acc_norm_stderr": 0.03227834510146268 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.5087719298245614, "acc_stderr": 0.04702880432049615, "acc_norm": 0.5087719298245614, "acc_norm_stderr": 0.04702880432049615 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.5793103448275863, "acc_stderr": 0.0411391498118926, "acc_norm": 0.5793103448275863, "acc_norm_stderr": 0.0411391498118926 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.373015873015873, "acc_stderr": 0.02490699045899257, "acc_norm": 0.373015873015873, "acc_norm_stderr": 0.02490699045899257 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.40476190476190477, "acc_stderr": 0.04390259265377562, "acc_norm": 0.40476190476190477, "acc_norm_stderr": 0.04390259265377562 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.36, "acc_stderr": 0.04824181513244218, "acc_norm": 0.36, "acc_norm_stderr": 0.04824181513244218 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.7580645161290323, "acc_stderr": 0.024362599693031096, "acc_norm": 0.7580645161290323, "acc_norm_stderr": 0.024362599693031096 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.5270935960591133, "acc_stderr": 0.03512819077876106, "acc_norm": 0.5270935960591133, "acc_norm_stderr": 0.03512819077876106 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.7, "acc_stderr": 0.046056618647183814, "acc_norm": 0.7, "acc_norm_stderr": 0.046056618647183814 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.7757575757575758, "acc_stderr": 0.03256866661681102, "acc_norm": 0.7757575757575758, "acc_norm_stderr": 0.03256866661681102 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.7626262626262627, "acc_stderr": 0.0303137105381989, "acc_norm": 0.7626262626262627, "acc_norm_stderr": 0.0303137105381989 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.8860103626943006, "acc_stderr": 0.022935144053919443, "acc_norm": 0.8860103626943006, "acc_norm_stderr": 0.022935144053919443 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.6666666666666666, "acc_stderr": 0.023901157979402534, "acc_norm": 0.6666666666666666, "acc_norm_stderr": 0.023901157979402534 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.34814814814814815, "acc_stderr": 0.02904560029061625

搜集汇总

数据集介绍

构建方式

在大型语言模型评测领域，Open LLM Leaderboard 作为权威的基准平台，为模型性能的量化评估提供了标准化流程。该数据集正是基于对 uukuguy/Mistral-7B-OpenOrca-lora 模型的一次完整评测运行而自动生成，记录了评测过程中的细粒度结果。数据集囊括了 64 个独立配置，每个配置对应一项特定的评测任务，例如 ARC Challenge、HellaSwag、GSM8K 等。所有数据来源于同一次运行，每次运行的结果被存储为独立的分片，并以时间戳命名，而 'train' 分片则始终指向最新一次评测的结果。此外，一个名为 'results' 的额外配置汇总了本次运行的全部聚合指标，用于在 Leaderboard 上计算和展示综合性能。

特点

该数据集的核心特色在于其结构化的多任务评测组织方式。它将繁琐的评测结果拆解为 64 个细粒度的配置，每个配置独立存储对应任务的详细样本级结果，便于研究者进行针对性的深入分析。数据集通过分片机制清晰区分不同时间点的评测运行，而 'train' 分片的动态指向特性，确保了用户始终能够便捷地获取最新评测数据。特别地，'results' 配置集中呈现了如准确率、标准差等关键聚合指标，覆盖了从常识推理（如 WinoGrande）到数学求解（如 GSM8K）再到多领域知识（如 MMLU 子集）的广泛能力维度，为模型性能的全面诊断提供了丰富的数据支撑。

使用方法

研究人员可通过 Hugging Face Datasets 库便捷地调用该数据集。加载时需指定目标任务的配置名称，例如使用 'harness_winogrande_5' 获取 WinoGrande 任务的评测细节。通过设置 split 参数为 'train'，即可直接访问最新一次运行的结果数据。若需回溯历史版本，则可通过具体的时间戳分片名称进行加载。对于希望获取模型整体性能概览的用户，可直接加载 'results' 配置，从中提取如 'all' 键下的聚合指标，从而高效地对比不同模型或不同运行版本之间的表现差异。

背景与挑战

背景概述

随着大语言模型（LLM）在自然语言处理领域取得突破性进展，如何系统、公平地评估其多样化能力成为学界与工业界共同关注的焦点。在此背景下，Hugging Face团队于2023年推出了Open LLM Leaderboard，旨在为开源社区提供一个标准化、透明化的模型性能评测平台。该数据集正是针对用户uukuguy提交的Mistral-7B-OpenOrca-lora模型在Leaderboard上的评估结果而生，由Hugging Face团队（首席联系人Clémentine Fourrier）于2023年11月创建。其核心研究问题在于通过一组涵盖常识推理、数学运算、知识问答及文本理解等维度的基准任务（如ARC-Challenge、HellaSwag、GSM8K、MMLU等），量化该微调后模型的综合表现。该数据集通过结构化存储64个任务配置下的详细评分与统计误差，不仅为模型开发者提供了可复现的评估依据，更推动了开源LLM社区在模型比较与迭代优化上的规范化进程，对后续研究具有重要的参考价值。

当前挑战

当前该数据集所反映的挑战主要分为两个层面。在领域问题层面，所评测的Mistral-7B-OpenOrca-lora模型需应对多任务泛化能力的严峻考验：例如在GSM8K数学推理任务中准确率仅达17.3%，在DROP阅读理解任务中F1分数低至6.2%，凸显出模型在复杂推理与精确信息抽取方面的固有短板；同时，MMLU子任务中如大学数学、形式逻辑等领域的准确率不足40%，揭示了模型在专业学科知识上的深度匮乏。在数据集构建层面，挑战体现在评测流程的自动化与一致性维护上：由于每次评估可能覆盖不同任务子集，如何确保多次运行结果的跨任务可比性成为难题；此外，数据集通过时间戳区分不同评估轮次并仅以“latest”指向最新结果，这种动态更新机制虽保证了时效性，却对历史数据的回溯分析与长期稳定性评估构成了潜在障碍。

常用场景

经典使用场景

该数据集作为Open LLM Leaderboard的评估结果存档，核心用途在于系统性地记录和复现Mistral-7B-OpenOrca-lora模型在多种自然语言理解与推理任务上的性能表现。研究者可通过加载特定配置（如harness_arc_challenge_25）和对应时间戳的拆分，获取模型在ARC挑战集、HellaSwag常识推理、WinoGrande指代消解等基准上的细粒度得分，从而进行跨模型对比或时序分析。这种结构化的评估数据存储范式，使得模型能力的量化追踪变得高效且可复现，为后续的模型优化与迭代提供了坚实的实证基础。

解决学术问题

该数据集主要解决了大语言模型评估标准化与透明化的核心学术难题。在传统研究中，模型性能报告常因评测环境、随机种子或数据划分的差异而难以复现。通过将每次评估的原始结果以Parquet格式持久化，并聚合为统一的results配置，该数据集确保了评测指标（如准确率、F1分数）的可靠性与可比性。这为研究社区提供了一个开放、可信的基准，使得针对Mistral-7B这类模型的消融实验、微调策略比较以及能力边界探索得以在统一框架下展开，显著提升了自然语言处理领域实验结论的严谨性。

衍生相关工作

该数据集衍生了一系列关于大语言模型评估方法论与性能预测的经典工作。研究者基于其提供的多任务、多时间戳数据，发展出评估结果的可视化工具（如雷达图与热力图），用以直观展示模型的知识分布不对称性。另有工作利用该数据集中的细粒度错误模式，构建了针对特定学科（如形式逻辑、大学数学）的能力诊断模型，从而识别出Mistral-7B在符号推理与多步计算上的系统性缺陷。这些衍生研究不仅深化了对当前模型能力边界的理解，也推动了更鲁棒的基准设计，例如引入对抗性样本或跨任务迁移难度的度量。