open-llm-leaderboard-old/details_AA051612__A0126

该数据集是在Open LLM Leaderboard上对模型AA051612/A0126进行评估时自动生成的。数据集包含63个配置，每个配置对应一个评估任务。数据集由一个或多个运行生成，每个运行作为每个配置中的一个特定分割存储。train分割始终指向最新的结果。此外，名为results的配置存储了所有运行的聚合结果，用于在Open LLM Leaderboard上计算和显示聚合指标。README还提供了如何使用Python代码加载数据集的示例，并包含了特定运行的最新结果。

原始信息汇总

数据集概述

数据集简介

该数据集是在模型 AA051612/A0126 在 Open LLM Leaderboard 上的评估运行期间自动创建的。数据集包含 63 个配置，每个配置对应一个评估任务。

数据集结构

数据集由 1 次运行创建，每个运行可以在每个配置中找到一个特定的拆分，拆分名称使用运行的时间戳。"train" 拆分始终指向最新的结果。

额外配置

一个额外的配置 "results" 存储了所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_AA051612__A0126", "harness_winogrande_5", split="train")

最新结果

以下是 2024-01-27T06:04:06.142155 运行的最新结果：

python { "all": { "acc": 0.8311098426157608, "acc_stderr": 0.024625771825640026, "acc_norm": 0.8383386480729309, "acc_norm_stderr": 0.025024562812055857, "mc1": 0.44430844553243576, "mc1_stderr": 0.01739458625074317, "mc2": 0.6152953341243498, "mc2_stderr": 0.0150837576689593 }, "harness|arc:challenge|25": { "acc": 0.6569965870307167, "acc_stderr": 0.013872423223718166, "acc_norm": 0.7039249146757679, "acc_norm_stderr": 0.013340916085246261 }, "harness|hellaswag|10": { "acc": 0.6671977693686517, "acc_stderr": 0.004702533775930293, "acc_norm": 0.8586934873531169, "acc_norm_stderr": 0.003476255509644533 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.59, "acc_stderr": 0.04943110704237102, "acc_norm": 0.59, "acc_norm_stderr": 0.04943110704237102 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.837037037037037, "acc_stderr": 0.03190541474482841, "acc_norm": 0.837037037037037, "acc_norm_stderr": 0.03190541474482841 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.881578947368421, "acc_stderr": 0.026293995855474938, "acc_norm": 0.881578947368421, "acc_norm_stderr": 0.026293995855474938 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.81, "acc_stderr": 0.03942772444036623, "acc_norm": 0.81, "acc_norm_stderr": 0.03942772444036623 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.8716981132075472, "acc_stderr": 0.02058247568799186, "acc_norm": 0.8716981132075472, "acc_norm_stderr": 0.02058247568799186 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.9444444444444444, "acc_stderr": 0.01915507853243362, "acc_norm": 0.9444444444444444, "acc_norm_stderr": 0.01915507853243362 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.6, "acc_stderr": 0.049236596391733084, "acc_norm": 0.6, "acc_norm_stderr": 0.049236596391733084 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.8, "acc_stderr": 0.04020151261036844, "acc_norm": 0.8, "acc_norm_stderr": 0.04020151261036844 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.6, "acc_stderr": 0.04923659639173309, "acc_norm": 0.6, "acc_norm_stderr": 0.04923659639173309 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.838150289017341, "acc_stderr": 0.028083594279575755, "acc_norm": 0.838150289017341, "acc_norm_stderr": 0.028083594279575755 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.6862745098039216, "acc_stderr": 0.04617034827006717, "acc_norm": 0.6862745098039216, "acc_norm_stderr": 0.04617034827006717 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.84, "acc_stderr": 0.036845294917747094, "acc_norm": 0.84, "acc_norm_stderr": 0.036845294917747094 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.8468085106382979, "acc_stderr": 0.023545179061675203, "acc_norm": 0.8468085106382979, "acc_norm_stderr": 0.023545179061675203 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.7192982456140351, "acc_stderr": 0.04227054451232199, "acc_norm": 0.7192982456140351, "acc_norm_stderr": 0.04227054451232199 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.8413793103448276, "acc_stderr": 0.030443500317583957, "acc_norm": 0.8413793103448276, "acc_norm_stderr": 0.030443500317583957 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.8121693121693122, "acc_stderr": 0.020115734141521107, "acc_norm": 0.8121693121693122, "acc_norm_stderr": 0.020115734141521107 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.6111111111111112, "acc_stderr": 0.04360314860077459, "acc_norm": 0.6111111111111112, "acc_norm_stderr": 0.04360314860077459 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.64, "acc_stderr": 0.04824181513244218, "acc_norm": 0.64, "acc_norm_stderr": 0.04824181513244218 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.9419354838709677, "acc_stderr": 0.01330413811280927, "acc_norm": 0.9419354838709677, "acc_norm_stderr": 0.01330413811280927 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.7487684729064039, "acc_stderr": 0.030516530732694436, "acc_norm": 0.7487684729064039, "acc_norm_stderr": 0.030516530732694436 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.85, "acc_stderr": 0.03588702812826371, "acc_norm": 0.85, "acc_norm_stderr": 0.03588702812826371 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.9333333333333333, "acc_stderr": 0.019478290326359265, "acc_norm": 0.9333333333333333, "acc_norm_stderr": 0.019478290326359265 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.9595959595959596, "acc_stderr": 0.014028895836494502, "acc_norm": 0.9595959595959596, "acc_norm_stderr": 0.014028895836494502 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.9792746113989638, "acc_stderr": 0.010281417011909029, "acc_norm": 0.9792746113989638, "acc_norm_stderr": 0.010281417011909029 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.8743589743589744, "acc_stderr": 0.016804895718059383, "acc_norm": 0.8743589743589744, "acc_norm_stderr": 0.016804895718059383 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.6296296296296297, "acc_stderr": 0.02944316932303154, "acc_norm": 0.6296296296296297, "acc_norm_stderr": 0.0294

搜集汇总

数据集介绍

构建方式

在开放大语言模型排行榜（Open LLM Leaderboard）的评估框架下，模型AA051612/A0126经过一系列标准化任务测试后，其评估结果被自动整合为该数据集。该数据集由63个配置构成，每个配置对应一个评估任务，涵盖ARC-Challenge、HellaSwag、MMLU、TruthfulQA、Winogrande及GSM8K等广泛基准。数据来源于单次运行，每次运行的结果以时间戳命名作为独立分割，而'train'分割始终指向最新评估结果。此外，一个名为'results'的额外配置存储了所有聚合指标，用于在排行榜上计算和展示综合性能。

特点

该数据集的核心特色在于其结构化的任务细分与版本追踪能力。63个配置分别记录了模型在不同难度与领域下的表现，如推理、常识、数学及对抗性问答等，提供了细粒度的性能剖析。通过时间戳分割，研究者可以回溯历史评估结果，而'latest'分割则自动指向最新数据，便于持续监控模型演进。聚合配置'results'进一步汇总了所有任务的指标，包括准确率及其标准误差，为模型对比提供了统一基准。这种设计兼顾了深度分析与动态更新需求。

使用方法

使用该数据集时，可通过HuggingFace的datasets库加载特定任务配置。例如，加载winogrande任务的训练分割：`data = load_dataset("open-llm-leaderboard/details_AA051612__A0126", "harness_winogrande_5", split="train")`。每个配置的数据文件以Parquet格式存储，可通过指定配置名称和分割（如时间戳或'latest'）访问。对于聚合结果，可直接读取'results'配置中的JSON文件，其中包含所有任务的准确率及其标准误差，便于进行模型性能的横向比较与统计分析。

背景与挑战

背景概述

随着大规模语言模型的迅猛发展，如何系统、公平地评估其多维度能力成为自然语言处理领域的核心议题。在此背景下，Hugging Face团队于2023年推出了开放大语言模型排行榜（Open LLM Leaderboard），旨在为社区提供一个标准化、透明化的模型性能对比平台。该数据集是排行榜中针对模型AA051612/A0126的一次评估运行记录，由Hugging Face团队在2024年1月27日创建，主要研究人员包括Clémentine等。数据集涵盖了63个评估任务配置，涉及ARC挑战赛、HellaSwag、GSM8K、TruthfulQA、Winogrande以及涵盖57个学科的MMLU测试等，全面考察了模型在推理、常识、数学、事实性和知识广度等方面的表现。该数据集不仅为模型开发者提供了细粒度的性能反馈，更推动了开放语言模型评估范式的标准化，对社区内模型迭代与比较产生了深远影响。

当前挑战

该数据集所面临的核心挑战首先体现在领域问题的复杂性上：大语言模型评估需要覆盖推理、知识、数学和事实性等多维能力，而不同任务间的难度差异和指标设计（如准确率、标准化准确率、MC1/MC2等）使得综合性能的横向对比变得极为困难。构建过程中的挑战则更为显著：数据集需从一次评估运行中自动生成63个任务配置，每个配置对应独立的评估结果，并需按时间戳管理多个运行版本，确保“latest”分割始终指向最新结果。此外，不同评估任务可能覆盖不同的任务集合，导致结果文件中存在任务缺失或版本不一致的问题，对数据集的完整性和可复现性提出了严苛要求。如何平衡评估的广度与深度，同时保证数据组织的清晰与高效，是此类自动生成数据集持续面临的难题。

常用场景

经典使用场景

在大规模语言模型蓬勃发展的浪潮中，如何系统性地评估模型的多维度能力成为学界关注的焦点。Open LLM Leaderboard作为社区公认的基准平台，其评估运行结果数据集为模型性能的横向对比提供了标准化载体。该数据集记录了模型AA051612/A0126在63个任务配置上的详尽表现，涵盖ARC挑战赛、HellaSwag常识推理、GSM8K数学推理以及涵盖57个学科的MMLU基准测试等经典评测场景，为研究者提供了从基础语言理解到高阶专业知识的全维度性能快照。

解决学术问题

该数据集有效回应了语言模型评估中普遍存在的碎片化与不可复现问题。通过统一记录模型在标准化评测框架下的细粒度结果，它使得研究者能够精确剖析模型在推理、常识、数学及多学科知识等维度的优势与短板。这种结构化的评估数据为探究模型能力涌现现象、分析训练策略对特定任务的影响，以及建立模型性能与架构参数之间的关联规律提供了坚实的数据基础，推动了语言模型评估从定性描述向定量分析的范式转变。

衍生相关工作

该数据集衍生了一系列围绕语言模型系统评估的重要工作。基于其标准化评估架构，研究者发展了新型的模型性能预测方法，通过分析评估结果中的模式来预估模型在其他任务上的潜在表现。此外，该数据集的细粒度结果被用于构建模型能力图谱，催生了关于模型知识边界与推理鲁棒性的深入探讨。这些衍生研究共同推动了语言模型评估方法论的发展，为构建更加全面、动态的模型评测体系奠定了重要基石。