open-llm-leaderboard-old/details_Locutusque__Hyperion-2.1-Mistral-7B

该数据集是在Open LLM Leaderboard上对Locutusque/Hyperion-2.1-Mistral-7B模型的评估运行过程中自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集从1次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，results配置存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

该数据集是在对模型 Locutusque/Hyperion-2.1-Mistral-7B 进行评估运行时自动创建的，用于 Open LLM Leaderboard。

数据集组成

• 数据集由 63 个配置组成，每个配置对应一个评估任务。
• 数据集从 1 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 额外的 "results" 配置存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

最新结果

以下是 2024-03-11T04:40:52.248129 运行的最新结果：

python { "all": { "acc": 0.613233684148516, "acc_stderr": 0.032789174296409256, "acc_norm": 0.6179983338973727, "acc_norm_stderr": 0.03345589779139778, "mc1": 0.32558139534883723, "mc1_stderr": 0.016403989469907825, "mc2": 0.4757962030586148, "mc2_stderr": 0.01456975309986158 }, "harness|arc:challenge|25": { "acc": 0.560580204778157, "acc_stderr": 0.014503747823580122, "acc_norm": 0.5989761092150171, "acc_norm_stderr": 0.014322255790719867 }, "harness|hellaswag|10": { "acc": 0.6248755228042223, "acc_stderr": 0.004831655648489736, "acc_norm": 0.8330013941445927, "acc_norm_stderr": 0.00372212370961046 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.32, "acc_stderr": 0.04688261722621504, "acc_norm": 0.32, "acc_norm_stderr": 0.04688261722621504 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.6074074074074074, "acc_stderr": 0.04218506215368879, "acc_norm": 0.6074074074074074, "acc_norm_stderr": 0.04218506215368879 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.631578947368421, "acc_stderr": 0.03925523381052932, "acc_norm": 0.631578947368421, "acc_norm_stderr": 0.03925523381052932 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.54, "acc_stderr": 0.05009082659620332, "acc_norm": 0.54, "acc_norm_stderr": 0.05009082659620332 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.6867924528301886, "acc_stderr": 0.028544793319055326, "acc_norm": 0.6867924528301886, "acc_norm_stderr": 0.028544793319055326 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.7222222222222222, "acc_stderr": 0.037455547914624555, "acc_norm": 0.7222222222222222, "acc_norm_stderr": 0.037455547914624555 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.44, "acc_stderr": 0.04988876515698589, "acc_norm": 0.44, "acc_norm_stderr": 0.04988876515698589 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.48, "acc_stderr": 0.050211673156867795, "acc_norm": 0.48, "acc_norm_stderr": 0.050211673156867795 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.41, "acc_stderr": 0.04943110704237102, "acc_norm": 0.41, "acc_norm_stderr": 0.04943110704237102 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.6416184971098265, "acc_stderr": 0.036563436533531585, "acc_norm": 0.6416184971098265, "acc_norm_stderr": 0.036563436533531585 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.3333333333333333, "acc_stderr": 0.04690650298201942, "acc_norm": 0.3333333333333333, "acc_norm_stderr": 0.04690650298201942 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.8, "acc_stderr": 0.04020151261036845, "acc_norm": 0.8, "acc_norm_stderr": 0.04020151261036845 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.5319148936170213, "acc_stderr": 0.03261936918467381, "acc_norm": 0.5319148936170213, "acc_norm_stderr": 0.03261936918467381 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.4649122807017544, "acc_stderr": 0.046920083813689104, "acc_norm": 0.4649122807017544, "acc_norm_stderr": 0.046920083813689104 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.5379310344827586, "acc_stderr": 0.04154659671707548, "acc_norm": 0.5379310344827586, "acc_norm_stderr": 0.04154659671707548 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.36507936507936506, "acc_stderr": 0.024796060602699958, "acc_norm": 0.36507936507936506, "acc_norm_stderr": 0.024796060602699958 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.42063492063492064, "acc_stderr": 0.04415438226743744, "acc_norm": 0.42063492063492064, "acc_norm_stderr": 0.04415438226743744 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.34, "acc_stderr": 0.04760952285695235, "acc_norm": 0.34, "acc_norm_stderr": 0.04760952285695235 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.7161290322580646, "acc_stderr": 0.025649381063029254, "acc_norm": 0.7161290322580646, "acc_norm_stderr": 0.025649381063029254 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.4827586206896552, "acc_stderr": 0.035158955511656986, "acc_norm": 0.4827586206896552, "acc_norm_stderr": 0.035158955511656986 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.63, "acc_stderr": 0.048523658709391, "acc_norm": 0.63, "acc_norm_stderr": 0.048523658709391 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.7575757575757576, "acc_stderr": 0.03346409881055953, "acc_norm": 0.7575757575757576, "acc_norm_stderr": 0.03346409881055953 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.7676767676767676, "acc_stderr": 0.030088629490217487, "acc_norm": 0.7676767676767676, "acc_norm_stderr": 0.030088629490217487 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.8393782383419689, "acc_stderr": 0.026499057701397447, "acc_norm": 0.8393782383419689, "acc_norm_stderr": 0.026499057701397447 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.6153846153846154, "acc_stderr": 0.024666744915187208, "acc_norm": 0.6153846153846154, "acc_norm_stderr": 0.024666744915187208 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.31851851851851853, "acc_stderr": 0.02840653309060846, "acc_norm": 0.31851851851851853, "acc_norm_stderr": 0.02840653309060846 }, "harness|hendrycksTest-high_school_microeconomics|5": { "acc": 0.6554621848739

搜集汇总

数据集介绍

构建方式

在大语言模型性能评估的学术探索中，Open LLM Leaderboard 为模型评测提供了标准化框架。本数据集专为记录 Locutusque/Hyperion-2.1-Mistral-7B 模型的评估过程而构建，源自单次运行（时间戳为 2024-03-11T04:40:52.248129）。数据集包含 63 个配置，每个配置对应一项被评估任务，如 ARC Challenge、HellaSwag、GSM8K 及涵盖 57 个学科的 MMLU 子集。各配置以 Parquet 格式存储评估细节，并设置以时间戳命名的分割，而“train”分割始终指向最新结果。另设“results”配置聚合所有运行的整体指标，用于在排行榜上计算并展示综合性能。

特点

该数据集的核心特性在于其精细化的结构与动态更新机制。63 个配置分别映射不同任务，每个配置内包含单次运行的完整评估数据，包括准确率（acc）、标准化准确率（acc_norm）及其标准误等统计量，确保评测结果的透明性与可复现性。数据集的“train”分割自动指向最新运行结果，便于研究者获取即时更新的性能概况。此外，“results”配置整合了所有任务的汇总数据，如总体准确率 0.6132 及 TruthfulQA 的多选指标，为模型能力的多维度分析提供了丰富素材。这种设计不仅支持纵向对比不同时间点的评估，还通过标准化分割简化了数据加载与复现流程。

使用方法

研究者可通过 Hugging Face Datasets 库便捷地加载与使用该数据集。例如，利用 `load_dataset` 函数指定配置名（如 `harness_winogrande_5`）和分割（如 `train`），即可获取对应任务的最新评估细节。若需回溯历史结果，可调用以时间戳命名的分割。数据以 Parquet 格式存储，支持高效的列式读取与计算。对于聚合分析，可直接访问“results”配置，从中提取各任务的准确率与标准误等指标，用于模型性能的比较与可视化。该数据集尤其适用于复现排行榜结果、分析模型在不同任务上的优劣，或作为基准对比新模型的起点。

背景与挑战

背景概述

大语言模型（LLM）的性能评估是自然语言处理领域的关键议题，随着模型规模与能力的激增，亟需标准化、多维度的评测体系以客观衡量其推理、常识与知识掌握水平。在此背景下，Hugging Face社区于2023年发起了Open LLM Leaderboard项目，旨在通过一套公开透明的基准测试集，追踪并比较各类开源模型的进化轨迹。该数据集作为Leaderboard的衍生产物，专门记录了Locutusque团队于2024年3月发布的Hyperion-2.1-Mistral-7B模型的详细评估结果。其核心研究问题在于如何系统化地量化一个基于Mistral-7B架构微调后的模型，在涵盖推理、常识、数学及多学科知识等63项任务上的综合表现，从而为社区提供可复现的评估范式。该数据集的影响力体现在它不仅为模型开发者提供了精细化的性能诊断工具，更推动了LLM评估从单一指标向多维度、细粒度分析的范式转变。

当前挑战

该数据集所反映的核心挑战首先在于领域问题的复杂性：大语言模型需要在ARC挑战赛、HellaSwag、GSM8K及涵盖57个学科的大规模多任务语言理解（MMLU）基准上展现泛化能力，这些任务分别测试了模型的科学推理、常识推断、数学解题与广泛知识储备，对模型的鲁棒性与深度理解构成严峻考验。例如，Hyperion-2.1-Mistral-7B在MMLU的大学数学与高中物理子集上准确率分别仅为41%与31%，暴露了其在专业推理领域的薄弱环节。其次，构建过程中面临的技术挑战包括：如何确保63个配置（对应不同任务与采样温度）的评估结果具有可比性与一致性，以及如何管理多轮运行（run）产生的时序数据，通过时间戳分割（split）维护最新结果与历史记录的完整性。此外，数据集的Parquet格式存储与Hugging Face Datasets库的集成，要求处理大规模异构评估日志的标准化与可复现性，这对数据管道的设计提出了严苛要求。

常用场景

经典使用场景

在大规模语言模型迅猛发展的时代背景下，open-llm-leaderboard-old/details_Locutusque__Hyperion-2.1-Mistral-7B数据集扮演着模型性能评估基准的角色。该数据集源自Open LLM Leaderboard对Locutusque/Hyperion-2.1-Mistral-7B模型的自动化评测流程，涵盖了63个配置项，每个配置对应一项评测任务，如ARC挑战赛、HellaSwag、MMLU多学科知识测试、TruthfulQA、Winogrande和GSM8K等。其经典使用场景是作为模型在多样化自然语言理解与推理任务上的细粒度性能档案，研究者可加载特定任务配置（如harness_winogrande_5）来复现或分析模型在特定维度的表现。

衍生相关工作

该数据集衍生了多项关键学术工作，其中最显著的是Open LLM Leaderboard本身，它已成为社区公认的模型能力竞技场。基于该数据集记录的结果，研究者得以开展模型能力演进分析，例如追踪Mistral架构系列在不同时间点的性能变化。此外，数据集中的细粒度任务结果被用于构建模型能力雷达图、训练代理评估模型以及开发自动化模型排名算法。其标准化的数据格式也促进了跨论文的元分析研究，为理解大语言模型的能力涌现与局限性提供了实证基础。

数据集最近研究

最新研究方向

在大型语言模型（LLM）性能评估的前沿领域，Open LLM Leaderboard 已成为衡量模型综合能力的权威基准。基于这一平台，Hyperion-2.1-Mistral-7B 模型的评估数据集聚焦于多任务、多领域的细粒度评测，涵盖 ARC-Challenge、HellaSwag、GSM8K 等核心推理任务，以及涵盖 57 个学科的 MMLU 测试集。这一研究方向紧密关联当前热点——即如何通过标准化、可复现的评估框架，揭示模型在常识推理、数学解题、专业知识和事实一致性等方面的真实水平。该数据集的重要意义在于，它不仅为模型开发者提供了透明、详尽的性能画像，还推动了社区对模型短板（如道德场景理解、形式逻辑推理等）的深入探究，进而引导后续模型在特定能力维度的优化与对齐，加速了开源大模型生态的良性竞争与迭代。