open-llm-leaderboard/details_yeontaek__llama-2-13B-ensemble-v1

该数据集是在Open LLM Leaderboard上对模型yeontaek/llama-2-13B-ensemble-v1进行评估时自动创建的。数据集由60个配置组成，每个配置对应一个评估任务。数据集从1次运行中创建，每次运行可以在每个配置的特定分割中找到，分割以运行的时间戳命名。train分割始终指向最新的结果。此外，还有一个名为results的配置存储了所有运行的聚合结果，用于在Open LLM Leaderboard上计算和显示聚合指标。This dataset was automatically created during the evaluation of the model yeontaek/llama-2-13B-ensemble-v1 on the Open LLM Leaderboard. The dataset consists of 60 configurations, each corresponding to an evaluation task. The dataset is built from one evaluation run, where the specific splits for each configuration are derived from this run, and the splits are named with the timestamp of the run. The "train" split always points to the most recent results. In addition, there is a configuration named "results" that stores the aggregated results across all runs, which is used to calculate and display the aggregate metrics on the Open LLM Leaderboard.

原始信息汇总

数据集概述

该数据集是在对模型 yeontaek/llama-2-13B-ensemble-v1 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集组成

• 数据集由 60 个配置组成，每个配置对应一个评估任务。
• 数据集从 1 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 额外的 "results" 配置存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_yeontaek__llama-2-13B-ensemble-v1", "harness_truthfulqa_mc_0", split="train")

最新结果

以下是 2023-08-24T06:11:39.305449 运行的最新结果： python { "all": { "acc": 0.5771705795394726, "acc_stderr": 0.03407019951989153, "acc_norm": 0.5809029426034396, "acc_norm_stderr": 0.0340502352653076, "mc1": 0.3598531211750306, "mc1_stderr": 0.016801860466677157, "mc2": 0.5015608436175973, "mc2_stderr": 0.015270015874980385 }, "harness|arc:challenge|25": { "acc": 0.5998293515358362, "acc_stderr": 0.014317197787809169, "acc_norm": 0.6228668941979523, "acc_norm_stderr": 0.0141633668961926 }, "harness|hellaswag|10": { "acc": 0.6264688309101772, "acc_stderr": 0.004827526584889677, "acc_norm": 0.8236407090221072, "acc_norm_stderr": 0.0038034664560544717 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.32, "acc_stderr": 0.04688261722621504, "acc_norm": 0.32, "acc_norm_stderr": 0.04688261722621504 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.45925925925925926, "acc_stderr": 0.04304979692464243, "acc_norm": 0.45925925925925926, "acc_norm_stderr": 0.04304979692464243 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.5394736842105263, "acc_stderr": 0.04056242252249034, "acc_norm": 0.5394736842105263, "acc_norm_stderr": 0.04056242252249034 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.58, "acc_stderr": 0.049604496374885836, "acc_norm": 0.58, "acc_norm_stderr": 0.049604496374885836 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.6075471698113207, "acc_stderr": 0.03005258057955784, "acc_norm": 0.6075471698113207, "acc_norm_stderr": 0.03005258057955784 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.6319444444444444, "acc_stderr": 0.040329990539607175, "acc_norm": 0.6319444444444444, "acc_norm_stderr": 0.040329990539607175 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.37, "acc_stderr": 0.048523658709391, "acc_norm": 0.37, "acc_norm_stderr": 0.048523658709391 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.48, "acc_stderr": 0.050211673156867795, "acc_norm": 0.48, "acc_norm_stderr": 0.050211673156867795 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.34, "acc_stderr": 0.04760952285695236, "acc_norm": 0.34, "acc_norm_stderr": 0.04760952285695236 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.5491329479768786, "acc_stderr": 0.03794012674697031, "acc_norm": 0.5491329479768786, "acc_norm_stderr": 0.03794012674697031 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.3235294117647059, "acc_stderr": 0.046550104113196177, "acc_norm": 0.3235294117647059, "acc_norm_stderr": 0.046550104113196177 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.75, "acc_stderr": 0.04351941398892446, "acc_norm": 0.75, "acc_norm_stderr": 0.04351941398892446 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.46382978723404256, "acc_stderr": 0.032600385118357715, "acc_norm": 0.46382978723404256, "acc_norm_stderr": 0.032600385118357715 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.30701754385964913, "acc_stderr": 0.04339138322579861, "acc_norm": 0.30701754385964913, "acc_norm_stderr": 0.04339138322579861 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.5448275862068965, "acc_stderr": 0.04149886942192118, "acc_norm": 0.5448275862068965, "acc_norm_stderr": 0.04149886942192118 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.3306878306878307, "acc_stderr": 0.02422996529842507, "acc_norm": 0.3306878306878307, "acc_norm_stderr": 0.02422996529842507 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.35714285714285715, "acc_stderr": 0.042857142857142816, "acc_norm": 0.35714285714285715, "acc_norm_stderr": 0.042857142857142816 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.35, "acc_stderr": 0.047937248544110196, "acc_norm": 0.35, "acc_norm_stderr": 0.047937248544110196 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.6580645161290323, "acc_stderr": 0.026985289576552746, "acc_norm": 0.6580645161290323, "acc_norm_stderr": 0.026985289576552746 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.42857142857142855, "acc_stderr": 0.03481904844438803, "acc_norm": 0.42857142857142855, "acc_norm_stderr": 0.03481904844438803 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.59, "acc_stderr": 0.04943110704237102, "acc_norm": 0.59, "acc_norm_stderr": 0.04943110704237102 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.7090909090909091, "acc_stderr": 0.03546563019624336, "acc_norm": 0.7090909090909091, "acc_norm_stderr": 0.03546563019624336 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.7424242424242424, "acc_stderr": 0.03115626951964683, "acc_norm": 0.7424242424242424, "acc_norm_stderr": 0.03115626951964683 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.8238341968911918, "acc_stderr": 0.02749350424454806, "acc_norm": 0.8238341968911918, "acc_norm_stderr": 0.02749350424454806 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.5692307692307692, "acc_stderr": 0.02510682066053975, "acc_norm": 0.5692307692307692, "acc_norm_stderr": 0.02510682066053975 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.2962962962962963, "acc_stderr": 0.02784081149587192, "acc_norm": 0.296296

搜集汇总

数据集介绍

构建方式

该数据集是在Open LLM Leaderboard上对yeontaek/llama-2-13B-ensemble-v1模型进行评估时自动生成的。它由60个配置组成，每个配置对应一个评估任务，涵盖ARC-Challenge、HellaSwag、TruthfulQA以及涵盖多学科知识的HendrycksTest等基准。数据源自单次运行，每次运行的结果以时间戳命名的分割形式存储，其中“train”分割始终指向最新结果。此外，一个独立的“results”配置汇集了所有聚合指标，用于在排行榜上计算和展示模型的整体性能。

使用方法

使用该数据集时，研究人员可通过Hugging Face的datasets库轻松加载特定任务的评估细节。例如，若要获取TruthfulQA任务的最新结果，可利用load_dataset函数指定配置名称“harness_truthfulqa_mc_0”和分割“train”。每个配置的数据文件以Parquet格式存储，支持高效的数据读取。此外，通过访问“results”配置，可以一键加载所有任务的聚合指标，便于进行模型间的横向比较与分析。

背景与挑战

背景概述

大语言模型（LLM）的快速发展催生了对其性能进行系统性评估的迫切需求，Open LLM Leaderboard应运而生，旨在为社区提供一个透明、可复现的模型评测平台。该数据集创建于2023年8月，由HuggingFace团队主导，核心研究问题聚焦于如何通过标准化流程衡量LLM在多任务上的综合能力。作为yeontaek/llama-2-13B-ensemble-v1模型的评测产物，该数据集覆盖了ARC-Challenge、HellaSwag及涵盖57个学科的MMLU等基准测试，通过60个配置项记录模型在推理、常识与专业知识维度的表现。其影响力体现在：不仅为模型开发者提供了细粒度的性能反馈，更推动了LLM评估范式的规范化，成为后续模型比较与迭代的重要参照。

当前挑战

该数据集所应对的核心领域挑战在于LLM能力评测的全面性与公平性。传统单一基准难以衡量模型在推理、知识迁移与事实一致性等维度的真实水平，而该数据集通过多任务、多学科的评测体系，试图解决评估维度碎片化的问题。构建过程中，挑战主要体现在三方面：一是评测任务的标准化，需统一不同基准（如ARC的25-shot与HellaSwag的10-shot设定）的输入格式与评分逻辑；二是结果的可复现性，必须精确记录每次运行的超参数与时间戳，避免因环境差异导致性能偏差；三是数据规模与粒度的平衡，60个配置项虽提供了细致视角，但也增加了结果聚合与跨模型比较的复杂度，需设计合理的加权机制以反映模型综合能力。

常用场景

经典使用场景

在大型语言模型飞速演进的浪潮中，对模型性能进行系统化、标准化的评估成为推动领域发展的关键基石。该数据集作为Open LLM Leaderboard评估流程的自动化产物，专门用于记录和存储yeontaek/llama-2-13B-ensemble-v1模型在60项不同任务上的详细评测结果。其最经典的使用场景是作为基准测试的标准化数据载体，研究者可通过加载特定配置（如harness_arc_challenge_25）与时间戳分割，精准复现模型在ARC挑战集、HellaSwag常识推理、MMLU多学科知识等核心基准上的表现，从而在统一框架下横向对比不同模型的推理能力与知识储备。

解决学术问题

该数据集系统性地回应了大型语言模型评估中普遍存在的可复现性危机与碎片化难题。通过将模型在ARC挑战、HellaSwag、TruthfulQA以及涵盖57个学科的MMLU测试上的原始评分与统计误差结构化归档，它为学术界提供了可追溯、可验证的评估证据链。这一机制有效消解了因评测环境差异、随机种子波动或提示词设计偏差导致的结论失真问题，使得模型在常识推理、事实准确性、多领域知识掌握度等维度的真实能力得以透明呈现，从而为模型改进方向提供了数据驱动的决策依据。

实际应用

在实际产业应用中，该数据集可作为模型选型与部署决策的量化参考手册。当企业需要在对话系统、智能教育、医疗辅助等垂直场景中遴选最适配的语言模型时，可借助该数据集中的细粒度指标（如MMLU各子领域的准确率、TruthfulQA的诚实性得分）进行针对性的能力评估。例如，在开发需要高可靠性事实回答的客服机器人时，开发者可重点分析模型在TruthfulQA上的mc1与mc2指标，从而筛选出在事实准确性上表现更优的候选模型，降低部署后产生幻觉内容的风险。

数据集最近研究

最新研究方向

在大型语言模型（LLM）评测领域，Open LLM Leaderboard 已成为衡量模型综合能力的关键基准平台。该数据集记录了 yeontaek/llama-2-13B-ensemble-v1 模型在 60 项任务上的评估结果，涵盖 ARC-Challenge、HellaSwag 及涵盖 57 个学科的 MMLU 基准测试。这一研究方向聚焦于通过标准化评测框架，揭示集成策略如何提升模型在事实性问答（TruthfulQA）和多学科推理任务中的表现。研究热点在于探索模型在细粒度任务上的能力边界，例如该模型在抽象代数（acc 0.32）与高中美国历史（acc 0.76）间的显著差异，凸显了领域特异性评估的重要性。此类数据集为理解 LLM 的泛化性、鲁棒性及知识深度提供了量化依据，推动了模型开发从单一指标向多维能力图谱的范式转变，对构建更可靠、透明的 AI 评估体系具有深远意义。