open-llm-leaderboard/details_meta-llama__Meta-Llama-3-70B-Instruct

该数据集是在评估模型meta-llama/Meta-Llama-3-70B-Instruct时自动创建的，主要用于在Open LLM Leaderboard上展示评估结果。数据集包含63个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行的结果作为特定配置中的一个分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于计算和展示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集名称

• pretty_name: Evaluation run of meta-llama/Meta-Llama-3-70B-Instruct

数据集描述

• dataset_summary: 该数据集是在评估模型meta-llama/Meta-Llama-3-70B-Instruct的过程中自动创建的，该模型在Open LLM Leaderboard上进行评估。

数据集组成

• 数据结构: 由63个配置组成，每个配置对应一个评估任务。
• 数据来源: 数据集创建自1次运行，每次运行作为一个特定的分割存储，分割名称使用运行的时间戳命名。
• 特殊配置: 存在一个名为"results"的额外配置，存储所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_meta-llama__Meta-Llama-3-70B-Instruct_private", "harness_winogrande_5", split="train")

最新结果

• 结果来源: 最新结果来自run 2024-04-21T11:59:48.701689。
• 结果内容: 包含多个任务的评估结果，如准确率(acc)、标准误差(acc_stderr)等。

数据集配置详情

配置列表

• config_name: harness_arc_challenge_25

  • data_files:
    • split: 2024_04_21T11_59_48.701689
      • path: /details_harness|arc:challenge|25_2024-04-21T11-59-48.701689.parquet
    • split: latest
      • path: /details_harness|arc:challenge|25_2024-04-21T11-59-48.701689.parquet

• config_name: harness_gsm8k_5

  • data_files:
    • split: 2024_04_21T11_59_48.701689
      • path: /details_harness|gsm8k|5_2024-04-21T11-59-48.701689.parquet
    • split: latest
      • path: /details_harness|gsm8k|5_2024-04-21T11-59-48.701689.parquet

• config_name: harness_hellaswag_10

  • data_files:
    • split: 2024_04_21T11_59_48.701689
      • path: /details_harness|hellaswag|10_2024-04-21T11-59-48.701689.parquet
    • split: latest
      • path: /details_harness|hellaswag|10_2024-04-21T11-59-48.701689.parquet

• config_name: harness_hendrycksTest_5

  • data_files:
    • split: 2024_04_21T11_59_48.701689
      • path:
        • /details_harness|hendrycksTest-abstract_algebra|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-anatomy|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-astronomy|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-business_ethics|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-clinical_knowledge|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-college_biology|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-college_chemistry|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-college_computer_science|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-college_mathematics|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-college_medicine|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-college_physics|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-computer_security|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-conceptual_physics|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-econometrics|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-electrical_engineering|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-elementary_mathematics|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-formal_logic|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-global_facts|5_2024-04-21T11-59-48.701689.parquet
    • split: latest
      • path:
        • /details_harness|hendrycksTest-abstract_algebra|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-anatomy|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-astronomy|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-business_ethics|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-clinical_knowledge|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-college_biology|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-college_chemistry|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-college_computer_science|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-college_mathematics|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-college_medicine|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-college_physics|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-computer_security|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-conceptual_physics|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-econometrics|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-electrical_engineering|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-elementary_mathematics|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-formal_logic|5_2024-04-21T11-59-48.701689.parquet
        • /details_harness|hendrycksTest-global_facts|5_2024-04-21T11-59-48.701689.parquet

搜集汇总

数据集介绍

构建方式

在大型语言模型评估领域，开放大语言模型排行榜（Open LLM Leaderboard）为模型性能的横向比较提供了标准化平台。该数据集源自对Meta-Llama-3-70B-Instruct模型的一次完整评估运行，系统性地收集了模型在63个不同评测任务上的表现细节。每个任务对应一个独立的数据配置，而每次运行的结果则被组织为特定的数据分割，其中“train”分割始终指向最新一次的评估结果。此外，一个名为“results”的独立配置专门用于存储所有任务的聚合指标，这些指标被直接用于排行榜上综合得分的计算与展示。数据集以Parquet格式存储，确保了大规模评估数据的高效存取。

特点

该数据集呈现出结构清晰且层次分明的特点。其核心优势在于对模型性能的细粒度记录，涵盖了从常识推理（如ARC Challenge、HellaSwag）到数学推理（如GSM8K）、从知识问答（如MMLU的57个学科子集）到对抗性检测（如TruthfulQA）等多种维度的评测结果。每个任务均提供了准确率（acc）及其标准误（acc_stderr）等统计指标，部分任务还包含归一化准确率（acc_norm），使得研究者能够深入分析模型在不同难度和类型任务上的表现稳定性。数据集的多次运行历史通过时间戳分割得以保留，支持对模型性能随时间变化的趋势分析。

使用方法

研究人员可通过HuggingFace的datasets库便捷地加载该数据集。具体而言，调用load_dataset函数时需指定数据集名称及目标任务的配置名称，例如加载Winogrande任务的最新结果可使用配置"harness_winogrande_5"并选择"train"分割。对于希望访问特定历史运行结果的场景，只需将分割参数替换为对应的时间戳字符串即可。此外，通过加载"results"配置，用户能够一次性获取所有任务的聚合性能指标，便于进行快速的模型能力概览与横向对比分析。

背景与挑战

背景概述

大语言模型的迅猛发展催生了对其性能进行系统性评估的迫切需求，Open LLM Leaderboard应运而生，成为衡量模型在多种自然语言理解与推理任务上表现的核心基准平台。该数据集记录了Meta于2024年4月发布的最新指令微调模型Meta-Llama-3-70B-Instruct在63个配置任务上的详细评测结果，涵盖ARC挑战集、HellaSwag、GSM8K、TruthfulQA、WinoGrande以及涵盖57个学科的大规模多任务理解基准MMLU。研究团队由HuggingFace的Clémentine Fourrier等人主导，旨在通过标准化、可复现的评估流程，为社区提供透明且细粒度的模型能力图谱。该数据集不仅揭示了Llama-3-70B-Instruct在常识推理、数学解题与知识问答等领域的卓越表现，更因其对模型弱点的精准刻画，深刻影响了后续模型优化与开源生态的发展方向。

当前挑战

该数据集所承载的核心挑战在于如何构建一套既能全面覆盖语言模型复杂能力维度，又能避免评测偏差的标准化体系。从领域问题层面看，大语言模型在常识推理（如HellaSwag）中常因表面模式匹配而失准，在数学推理（如GSM8K）中易受多步逻辑断裂困扰，在多学科知识问答（如MMLU）中则面临知识边界模糊与事实幻觉的双重困境。从数据集构建过程看，挑战体现在多任务评测的配置一致性维护、不同任务间度量标准的统一对齐、以及海量结果数据的结构化存储与版本迭代管理。此外，如何确保评测数据免受模型预训练语料的污染、如何设计足够区分度的难度梯度以精准定位模型能力天花板，亦是构建过程中必须攻克的难题。

常用场景

经典使用场景

在大型语言模型评估的学术领域中，open-llm-leaderboard/details_meta-llama__Meta-Llama-3-70B-Instruct 数据集扮演着核心基准的角色。该数据集专为 Meta-Llama-3-70B-Instruct 模型在 Open LLM Leaderboard 上的自动化评估而构建，涵盖了 63 个不同的任务配置，从 ARC-Challenge 的常识推理到 GSM8K 的数学问题求解，再到 HellaSwag 的文本延续推理，以及涵盖 57 个学科的 MMLU 知识测试。研究者通过加载该数据集的特定 split 和配置，能够系统性地复现模型在多项标准测试中的表现，从而对模型的语言理解、逻辑推理和知识储备能力进行全方位、精细化的量化比较。

实际应用

在实际应用中，该数据集为 AI 模型的选型和落地部署提供了关键的决策依据。企业或开发者可以通过参考 Meta-Llama-3-70B-Instruct 在该数据集上的详尽表现，判断其在智能客服、教育辅导、代码生成等具体场景中的适用性。例如，其在 GSM8K 上高达 85.4% 的准确率，表明该模型在数学推理辅助工具中具有巨大潜力；而在 MMLU 各学科上的均衡高分，则彰显了其作为通用知识问答引擎的可靠性。这些量化的评估结果直接指导了模型在工业界产品中的集成与优化，降低了部署不确定性。

衍生相关工作

该数据集的诞生衍生了一系列重要的学术工作，最直接的是推动了 Open LLM Leaderboard 生态的繁荣，催生了大量基于此基准的模型性能分析与改进研究。后续工作包括但不限于：针对模型在特定任务（如 HendrycksTest 中的高等数学）上表现进行的归因分析，探索模型架构与训练数据对能力的影响；以及基于该数据集结果开发的模型压缩、知识蒸馏技术，旨在保持高性能的同时降低计算成本。此外，该数据集的细粒度评估模式也为构建更全面、更动态的模型评估体系（如引入对抗性测试或长文本理解任务）提供了范本，激励着社区不断拓展语言模型能力边界的研究。