open-llm-leaderboard-old/details_Inv__MoeMoE-2x7b

该数据集是在评估模型Inv/MoeMoE-2x7b时自动创建的，主要用于在Open LLM Leaderboard上展示评估结果。数据集包含63个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行的结果作为一个特定的分割存储，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于计算和展示在Open LLM Leaderboard上的聚合指标。该数据集是在评估模型Inv/MoeMoE-2x7b时自动创建的，主要用于在Open LLM Leaderboard上展示评估结果。数据集包含63个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行的结果作为一个特定的分割存储，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于计算和展示在Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集信息

• 数据集名称: Evaluation run of Inv/MoeMoE-2x7b
• 数据集来源: 自动创建于模型 Inv/MoeMoE-2x7b 在 Open LLM Leaderboard 的评估运行期间。
• 数据集组成: 包含63个配置，每个配置对应一个评估任务。
• 数据集创建: 从1次运行中创建，每个运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳。"train" 分割始终指向最新的结果。
• 额外配置: "results" 配置存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Inv__MoeMoE-2x7b", "harness_winogrande_5", split="train")

最新结果

• 最新结果来源: 2024-03-11T19:28:29.484742
• 结果示例: python { "all": { "acc": 0.6310191137887649, "acc_stderr": 0.03256565468316543, "acc_norm": 0.6313280552955073, "acc_norm_stderr": 0.03323284549215567, "mc1": 0.44430844553243576, "mc1_stderr": 0.01739458625074317, "mc2": 0.6165388259112794, "mc2_stderr": 0.015469241789129546 }, "harness|arc:challenge|25": { "acc": 0.6322525597269625, "acc_stderr": 0.014090995618168478, "acc_norm": 0.6646757679180887, "acc_norm_stderr": 0.01379618294778556 }, ... }

配置信息

• 配置名称: harness_arc_challenge_25

  • 数据文件:
    • 分割: 2024_03_11T19_28_29.484742
      • 路径: **/details_harness|arc:challenge|25_2024-03-11T19-28-29.484742.parquet
    • 分割: latest
      • 路径: **/details_harness|arc:challenge|25_2024-03-11T19-28-29.484742.parquet

• 配置名称: harness_gsm8k_5

  • 数据文件:
    • 分割: 2024_03_11T19_28_29.484742
      • 路径: **/details_harness|gsm8k|5_2024-03-11T19-28-29.484742.parquet
    • 分割: latest
      • 路径: **/details_harness|gsm8k|5_2024-03-11T19-28-29.484742.parquet

• 配置名称: harness_hellaswag_10

  • 数据文件:
    • 分割: 2024_03_11T19_28_29.484742
      • 路径: **/details_harness|hellaswag|10_2024-03-11T19-28-29.484742.parquet
    • 分割: latest
      • 路径: **/details_harness|hellaswag|10_2024-03-11T19-28-29.484742.parquet

• 配置名称: harness_hendrycksTest_5

  • 数据文件:
    • 分割: 2024_03_11T19_28_29.484742
      • 路径:
        • **/details_harness|hendrycksTest-abstract_algebra|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-anatomy|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-astronomy|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-business_ethics|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-clinical_knowledge|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-college_biology|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-college_chemistry|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-college_computer_science|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-college_mathematics|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-college_medicine|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-college_physics|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-computer_security|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-conceptual_physics|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-econometrics|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-electrical_engineering|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-elementary_mathematics|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-formal_logic|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-global_facts|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-high_school_biology|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-high_school_chemistry|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-high_school_computer_science|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-high_school_european_history|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-high_school_geography|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-high_school_government_and_politics|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-high_school_macroeconomics|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-high_school_mathematics|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-high_school_microeconomics|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-high_school_physics|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-high_school_psychology|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-high_school_statistics|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-high_school_us_history|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-high_school_world_history|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-human_aging|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-human_sexuality|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-international_law|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-jurisprudence|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-logical_fallacies|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-machine_learning|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-management|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-marketing|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-medical_genetics|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-miscellaneous|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-moral_disputes|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-moral_scenarios|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-nutrition|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-philosophy|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-prehistory|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-professional_accounting|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-professional_law|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-professional_medicine|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-professional_psychology|5_2024-03-11T19-28-29.484742.parquet
        • **/details_harness|hendrycksTest-public_relations|5_2024-03-11T19-28-29.484742.parquet
        • `**/details_harness|hendrycksTest-security_studies|5_2024-03-11T19

搜集汇总

数据集介绍

构建方式

在大规模语言模型评测领域，Open LLM Leaderboard 作为一个权威的基准平台，为模型性能的横向比较提供了标准化框架。该数据集正是基于对 Inv/MoeMoE-2x7b 模型的一次完整评测流程自动构建而成。其构建方式遵循了评测管线的严格规范：数据集涵盖了 63 个独立配置（configurations），每个配置对应于 Leaderboard 所定义的一项具体评测任务，例如 ARC-Challenge、HellaSwag 或 GSM8K 等。每一次完整的评测运行（run）被记录为每个配置下的一个独立数据分割（split），分割名称以运行的时间戳命名，而 'train' 分割则始终指向最近一次运行的结果。此外，数据集还包含一个名为 'results' 的附加配置，用于存储所有任务的聚合结果，这些聚合数据正是 Leaderboard 上展示综合指标的直接数据来源。

使用方法

研究者可通过 HuggingFace 的 datasets 库便捷地加载该数据集。加载时需指定具体的配置名称（即任务标识符，如 'harness_winogrande_5'）以及所需的分割（如 'train' 以获取最新结果，或使用时间戳分割获取历史数据）。例如，执行 `load_dataset("open-llm-leaderboard/details_Inv__MoeMoE-2x7b", "harness_winogrande_5", split="train")` 即可加载该模型在 Winogrande 任务上的最新评测细节。加载后的数据以 Parquet 格式存储，包含了每个评测样本的详细输入、模型输出及评分信息，便于进行深入的错误分析或二次计算。对于希望复现 Leaderboard 综合指标的用户，可直接加载 'results' 配置，其中以 JSON 格式存储了所有任务的聚合统计量，如准确率（acc）及其标准误差（acc_stderr），为撰写技术报告或进行元分析提供了直接的数据支撑。

背景与挑战

背景概述

该数据集源于2024年3月由Hugging Face团队在Open LLM Leaderboard平台上对混合专家模型Inv/MoeMoE-2x7b的一次系统性评测。作为大语言模型性能评估的重要基准，Open LLM Leaderboard旨在通过标准化、可复现的流程衡量模型在多样化任务上的表现。该数据集记录了模型在63个配置下的详细评估结果，涵盖ARC挑战集、HellaSwag、GSM8K、MMLU及TruthfulQA等主流测试基准，涉及常识推理、数学求解、知识问答与事实一致性等核心能力维度。通过提供细粒度的评估指标与运行日志，该数据集为研究混合专家架构的效能边界、模型能力横向对比以及评测流程的透明化提供了关键支撑，对推动开源大模型评估体系的规范化具有显著贡献。

当前挑战

当前数据集面临的核心挑战在于：其一，大语言模型评估的全面性难题——单一模型需在横跨科学、人文、数学等数十个学科的任务中展现均衡能力，而现有基准仍难以覆盖真实应用中的长尾场景与开放域生成需求；其二，构建过程中的复现性与标准化挑战——不同运行轮次间可能因评测任务覆盖不全或参数波动导致结果偏差，需依赖精细的版本控制与元数据管理来保障数据一致性；其三，混合专家模型特有的稀疏激活机制使得计算效率与性能的权衡难以通过常规指标完整刻画，现有评测体系缺乏对模型推理成本、专家路由策略等维度的系统评估，制约了架构创新的深度分析。

常用场景

经典使用场景

在大型语言模型评估领域，该数据集作为Open LLM Leaderboard的标准化评测记录，经典用途在于对Inv/MoeMoE-2x7b这一混合专家模型进行多维度性能剖析。数据集涵盖ARC-Challenge、HellaSwag、GSM8K等63项配置，可系统性地评估模型在常识推理、数学求解、知识问答等任务上的表现，为模型能力对比提供细粒度的量化依据。

解决学术问题

该数据集解决了大语言模型评估中结果可复现性与标准化不足的学术难题。通过记录每次评测的详细日志与聚合指标，研究者得以精准定位模型在特定任务（如HendrycksTest系列涵盖的57个学科）上的优势与短板，从而深入探究混合专家架构（MoE）在知识广度与推理深度间的权衡，为模型设计提供实证支撑。

实际应用

实际应用中，该数据集服务于模型选型与部署决策。例如，开发者可依据GSM8K的数学推理分数（0.649）与TruthfulQA的诚实性指标（MC1=0.444），判断MoeMoE-2x7b是否适合教育辅导或知识密集型场景。其分任务结果还能指导领域微调，如利用HendrycksTest-临床知识（0.691）优化医疗对话系统。

数据集最近研究

最新研究方向

当前，混合专家模型（MoE）架构因其在参数效率与性能平衡上的卓越表现，成为大语言模型领域的前沿热点。该数据集记录了Inv/MoeMoE-2x7b模型在Open LLM Leaderboard上的全面评估结果，覆盖了从常识推理（如ARC挑战赛、HellaSwag）到数学逻辑（GSM8K）再到多学科知识（MMLU）的63项任务。这一研究方向聚焦于利用MoE的稀疏激活特性，在保持较低计算成本的同时，提升模型在复杂推理与知识密集型任务中的表现。相关热点事件包括各大机构竞相发布高效MoE模型，而该数据集的公开为社区提供了可复现的基准，对于推动模型架构创新、标准化评估流程以及促进开源生态的健康发展具有深远意义。