open-llm-leaderboard/details_AGI-inc__lora_moe_7b_baseline

该数据集是在模型[AGI-inc/lora_moe_7b_baseline](https://huggingface.co/AGI-inc/lora_moe_7b_baseline)评估运行期间自动创建的，用于[Open LLM Leaderboard](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)。数据集由61个配置组成，每个配置对应一个评估任务。数据集来源于一次运行，每次运行作为一个特定分割，以运行的时间戳命名。train分割始终指向最新结果，而额外的results配置存储了运行的聚合结果，用于在Leaderboard上计算和显示聚合指标。

原始信息汇总

数据集概述

数据集摘要

该数据集是在对模型 AGI-inc/lora_moe_7b_baseline 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集组成

• 该数据集包含 61 个配置，每个配置对应一个评估任务。
• 数据集从 1 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 额外的 "results" 配置存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_AGI-inc__lora_moe_7b_baseline", "harness_truthfulqa_mc_0", split="train")

最新结果

以下是 2023-07-24T11:38:46.147581 运行的最新结果：

python { "all": { "acc": 0.3624349655819883, "acc_stderr": 0.03457932037185986, "acc_norm": 0.36641755034742307, "acc_norm_stderr": 0.03456622803809125, "mc1": 0.22031823745410037, "mc1_stderr": 0.014509045171487291, "mc2": 0.3433554241758255, "mc2_stderr": 0.01319092242364727 }, "harness|arc:challenge|25": { "acc": 0.47696245733788395, "acc_stderr": 0.014595873205358267, "acc_norm": 0.5093856655290102, "acc_norm_stderr": 0.014608816322065 }, "harness|hellaswag|10": { "acc": 0.5754829715196176, "acc_stderr": 0.004932593348813628, "acc_norm": 0.7780322644891456, "acc_norm_stderr": 0.004147202539759587 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.26, "acc_stderr": 0.04408440022768081, "acc_norm": 0.26, "acc_norm_stderr": 0.04408440022768081 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.3851851851851852, "acc_stderr": 0.042039210401562783, "acc_norm": 0.3851851851851852, "acc_norm_stderr": 0.042039210401562783 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.34210526315789475, "acc_stderr": 0.03860731599316092, "acc_norm": 0.34210526315789475, "acc_norm_stderr": 0.03860731599316092 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.41, "acc_stderr": 0.049431107042371025, "acc_norm": 0.41, "acc_norm_stderr": 0.049431107042371025 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.3622641509433962, "acc_stderr": 0.0295822451283843, "acc_norm": 0.3622641509433962, "acc_norm_stderr": 0.0295822451283843 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.3819444444444444, "acc_stderr": 0.040629907841466674, "acc_norm": 0.3819444444444444, "acc_norm_stderr": 0.040629907841466674 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.28, "acc_stderr": 0.04512608598542128, "acc_norm": 0.28, "acc_norm_stderr": 0.04512608598542128 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.3, "acc_stderr": 0.046056618647183814, "acc_norm": 0.3, "acc_norm_stderr": 0.046056618647183814 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.34, "acc_stderr": 0.04760952285695236, "acc_norm": 0.34, "acc_norm_stderr": 0.04760952285695236 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.3236994219653179, "acc_stderr": 0.035676037996391685, "acc_norm": 0.3236994219653179, "acc_norm_stderr": 0.035676037996391685 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.23529411764705882, "acc_stderr": 0.04220773659171451, "acc_norm": 0.23529411764705882, "acc_norm_stderr": 0.04220773659171451 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.45, "acc_stderr": 0.05, "acc_norm": 0.45, "acc_norm_stderr": 0.05 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.37446808510638296, "acc_stderr": 0.03163910665367291, "acc_norm": 0.37446808510638296, "acc_norm_stderr": 0.03163910665367291 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.2631578947368421, "acc_stderr": 0.04142439719489362, "acc_norm": 0.2631578947368421, "acc_norm_stderr": 0.04142439719489362 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.22758620689655173, "acc_stderr": 0.03493950380131184, "acc_norm": 0.22758620689655173, "acc_norm_stderr": 0.03493950380131184 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.2619047619047619, "acc_stderr": 0.022644212615525214, "acc_norm": 0.2619047619047619, "acc_norm_stderr": 0.022644212615525214 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.25396825396825395, "acc_stderr": 0.038932596106046734, "acc_norm": 0.25396825396825395, "acc_norm_stderr": 0.038932596106046734 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.31, "acc_stderr": 0.04648231987117316, "acc_norm": 0.31, "acc_norm_stderr": 0.04648231987117316 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.33548387096774196, "acc_stderr": 0.02686020644472435, "acc_norm": 0.33548387096774196, "acc_norm_stderr": 0.02686020644472435 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.2857142857142857, "acc_stderr": 0.031785297106427496, "acc_norm": 0.2857142857142857, "acc_norm_stderr": 0.031785297106427496 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.33, "acc_stderr": 0.04725815626252605, "acc_norm": 0.33, "acc_norm_stderr": 0.04725815626252605 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.43636363636363634, "acc_stderr": 0.03872592983524754, "acc_norm": 0.43636363636363634, "acc_norm_stderr": 0.03872592983524754 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.3333333333333333, "acc_stderr": 0.03358618145732522, "acc_norm": 0.3333333333333333, "acc_norm_stderr": 0.03358618145732522 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.45077720207253885, "acc_stderr": 0.03590910952235525, "acc_norm": 0.45077720207253885, "acc_norm_stderr": 0.03590910952235525 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.34102564102564104, "acc_stderr": 0.024035489676335065, "acc_norm": 0.34102564102564104, "acc_norm_stderr": 0.024035489676335065 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.25925925925925924, "acc_stderr": 0.026719240783712173, "acc_norm": 0.25925925925925924, "acc_norm_stderr":

搜集汇总

数据集介绍

构建方式

在大型语言模型评测领域，Open LLM Leaderboard为模型性能的横向比较提供了标准化平台。该数据集是模型AGI-inc/lora_moe_7b_baseline在Leaderboard上进行自动化评测时生成的副产品，完整记录了单次运行（2023-07-24T11:38:46.147581）的详细结果。数据集包含61个配置，每个配置对应一项评测任务，如ARC-Challenge、HellaSwag及涵盖多学科知识的MMLU（HendrycksTest）。每个配置内均设有以时间戳命名的专用分割，用于存储该次运行的具体数据，而“train”分割则始终指向最新结果。此外，独立的“results”配置聚合了所有任务的综合指标，为Leaderboard上的总览展示提供支撑。

特点

该数据集的核心特色在于其结构化的评测结果组织方式。它通过细粒度的配置划分，将不同任务的评估数据独立存储，便于研究人员针对特定能力（如推理、常识或专业知识）进行深入分析。每个任务配置下均包含准确率（acc）及其标准误差（acc_stderr）等关键统计量，部分任务还提供归一化准确率，以消除模型输出长度等偏差。数据集的版本控制机制通过时间戳分割实现，支持回溯历史运行结果，同时“latest”分割确保用户始终能获取最新评估数据。这种设计不仅提升了数据回溯的便利性，也为模型迭代过程中的性能对比提供了可靠依据。

使用方法

该数据集的使用遵循HuggingFace Datasets库的标准化加载流程。用户可通过load_dataset函数，指定数据集名称、目标任务配置（如“harness_truthfulqa_mc_0”）以及所需的分割（如“train”或时间戳分割）来获取数据。例如，加载TruthfulQA任务的详细结果时，只需提供对应配置名和分割标识。数据以Parquet格式存储，支持高效读取。对于需要整体性能概览的场景，可直接访问“results”配置，其中包含了所有任务的聚合指标。此外，用户可通过替换配置名中的任务标识符，灵活切换至不同评测任务的数据加载，从而实现对模型在各类基准上表现的模块化分析。

背景与挑战

背景概述

随着大规模语言模型（LLM）的蓬勃发展，如何系统性地评估其性能已成为自然语言处理领域的核心议题。在此背景下，HuggingFace社区于2023年推出了Open LLM Leaderboard，旨在通过标准化基准测试对开源模型进行公正、透明的横向比较。该数据集即源自对AGI-inc团队开发的lora_moe_7b_baseline模型的评估运行，记录了该模型在61个不同任务配置上的详细表现，涵盖ARC挑战赛、HellaSwag常识推理以及涵盖57个学科的大规模多任务语言理解基准（MMLU）等。该数据集的创建由HuggingFace团队主导，其核心研究问题在于量化混合专家（MoE）架构与低秩适配（LoRA）微调策略相结合的7B参数模型的综合能力，为社区提供了可复现的评估结果，对推动开源LLM性能的透明化评估具有重要参考价值。

当前挑战

该数据集所反映的挑战主要体现在两方面。在领域问题层面，其所评估的lora_moe_7b_baseline模型需应对从常识推理（HellaSwag）到专业学科知识（MMLU涵盖的抽象代数、法学等）的广泛认知任务，暴露了当前模型在跨领域泛化上的显著不足，例如在高等数学和大学物理等任务上准确率低于30%，凸显了通用语言模型在深度专业知识推理上的瓶颈。在数据集构建过程中，挑战在于如何保证61个异构任务配置的评估一致性，以及如何通过自动化流水线将每次运行的详细结果（如不同时间戳的分割）统一整合为可追溯、可比较的结构化数据，同时确保最新结果与历史运行数据的清晰划分，这对数据管理的规范性和可扩展性提出了较高要求。

常用场景

经典使用场景

在自然语言处理与大语言模型蓬勃发展的浪潮中，如何公正、系统地评估模型性能成为学界与工业界共同关注的焦点。该数据集作为Open LLM Leaderboard的评测产物，专为评估AGI-inc/lora_moe_7b_baseline模型而创建，其核心应用场景在于为模型提供标准化、多维度的性能度量。数据集囊括了61个评测任务配置，涵盖ARC-Challenge、HellaSwag、TruthfulQA以及涵盖57个学科领域的MMLU基准测试，通过记录准确率、标准化准确率及多项选择指标等细粒度结果，为研究人员提供了横跨常识推理、事实性与专业知识理解的全面评估框架。这一设计使得该数据集成为比较不同模型、复现实验结果以及追踪模型迭代演进不可或缺的基准工具。

解决学术问题

该数据集精准回应了大语言模型评测领域长期存在的可重复性危机与评估碎片化困境。在传统研究中，模型评估常因任务选择不一、评测流程不透明而导致结果难以横向对比，该数据集通过统一评测流水线（如语言模型评估工具Harness）和标准化输出格式，确保了每次运行结果的可追溯性与可比性。它解决了如何客观量化模型在复杂推理、知识广度与事实一致性等维度的综合表现这一核心问题，尤其为低资源模型（如7B参数级）的性能边界探索提供了可靠参照。其意义在于构建了透明、开放的模型能力评估基准，推动了语言模型研究从定性描述向定量分析的范式转变，并促进了社区对模型优缺点的共识形成。

衍生相关工作

该数据集作为Open LLM Leaderboard生态的核心组件，衍生并催化了一系列具有深远影响的经典工作。其一，它直接支撑了HuggingFace社区发起的开放大语言模型排行榜，该排行榜已成为全球研究者评估开源模型性能的首选参照系，间接推动了如Llama、Falcon等系列模型的快速迭代。其二，基于该数据集的结构化评测结果，研究者发展出模型能力图谱（如任务级性能雷达图）与领域劣势分析工具，深化了对模型泛化边界的理解。其三，该数据集的评测范式被后续工作广泛借鉴，例如用于评估稀疏混合专家模型（如本案例中的lora_moe架构）在参数效率与性能权衡上的表现，为高效模型设计提供了实证基础。这些衍生工作共同编织了语言模型评测的学术网络，持续塑造着该领域的研究方向。