open-llm-leaderboard-old/details_codellama__CodeLlama-70b-Instruct-hf

该数据集是在模型codellama/CodeLlama-70b-Instruct-hf在Open LLM Leaderboard上的评估运行期间自动创建的。它由63个配置组成，每个配置对应一个被评估的任务。数据集是从1次运行中创建的，每次运行作为每个配置中的一个特定分割，使用运行的时间戳命名。train分割始终指向最新的结果。一个额外的配置results存储了运行的所有聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集摘要

该数据集是在对模型 codellama/CodeLlama-70b-Instruct-hf 进行评估运行期间自动创建的，评估结果展示在 Open LLM Leaderboard 上。

数据集组成

数据集由 63 个配置组成，每个配置对应一个评估任务。数据集从 1 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train" 分割始终指向最新的结果。

额外配置

一个额外的配置 "results" 存储了所有运行的聚合结果，用于计算并在 Open LLM Leaderboard 上显示聚合指标。

加载数据示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_codellama__CodeLlama-70b-Instruct-hf", "harness_winogrande_5", split="train")

最新结果

以下是 最新结果来自 2024-02-02T06:15:21.306042 的摘要： python { "all": { "acc": 0.5648604524571269, "acc_stderr": 0.03399038244243267, "acc_norm": 0.5673299922382132, "acc_norm_stderr": 0.034688595336715734, "mc1": 0.3525091799265606, "mc1_stderr": 0.016724646380756544, "mc2": 0.5044393244952377, "mc2_stderr": 0.015451705191766632 }, "harness|arc:challenge|25": { "acc": 0.5179180887372014, "acc_stderr": 0.014602005585490982, "acc_norm": 0.5503412969283277, "acc_norm_stderr": 0.014537144444284741 }, "harness|hellaswag|10": { "acc": 0.5812587134037045, "acc_stderr": 0.0049234456278615234, "acc_norm": 0.7723561043616809, "acc_norm_stderr": 0.00418454567538735 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.32, "acc_stderr": 0.046882617226215034, "acc_norm": 0.32, "acc_norm_stderr": 0.046882617226215034 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.5259259259259259, "acc_stderr": 0.04313531696750575, "acc_norm": 0.5259259259259259, "acc_norm_stderr": 0.04313531696750575 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.5723684210526315, "acc_stderr": 0.04026097083296562, "acc_norm": 0.5723684210526315, "acc_norm_stderr": 0.04026097083296562 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.6, "acc_stderr": 0.049236596391733084, "acc_norm": 0.6, "acc_norm_stderr": 0.049236596391733084 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.539622641509434, "acc_stderr": 0.030676096599389177, "acc_norm": 0.539622641509434, "acc_norm_stderr": 0.030676096599389177 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.5208333333333334, "acc_stderr": 0.04177578950739993, "acc_norm": 0.5208333333333334, "acc_norm_stderr": 0.04177578950739993 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.36, "acc_stderr": 0.04824181513244218, "acc_norm": 0.36, "acc_norm_stderr": 0.04824181513244218 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.5, "acc_stderr": 0.050251890762960605, "acc_norm": 0.5, "acc_norm_stderr": 0.050251890762960605 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.42, "acc_stderr": 0.049604496374885836, "acc_norm": 0.42, "acc_norm_stderr": 0.049604496374885836 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.48554913294797686, "acc_stderr": 0.03810871630454764, "acc_norm": 0.48554913294797686, "acc_norm_stderr": 0.03810871630454764 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.30392156862745096, "acc_stderr": 0.045766654032077636, "acc_norm": 0.30392156862745096, "acc_norm_stderr": 0.045766654032077636 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.71, "acc_stderr": 0.045604802157206845, "acc_norm": 0.71, "acc_norm_stderr": 0.045604802157206845 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.5234042553191489, "acc_stderr": 0.03265019475033582, "acc_norm": 0.5234042553191489, "acc_norm_stderr": 0.03265019475033582 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.42105263157894735, "acc_stderr": 0.046446020912223177, "acc_norm": 0.42105263157894735, "acc_norm_stderr": 0.046446020912223177 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.5379310344827586, "acc_stderr": 0.041546596717075474, "acc_norm": 0.5379310344827586, "acc_norm_stderr": 0.041546596717075474 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.42857142857142855, "acc_stderr": 0.025487187147859375, "acc_norm": 0.42857142857142855, "acc_norm_stderr": 0.025487187147859375 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.4444444444444444, "acc_stderr": 0.044444444444444495, "acc_norm": 0.4444444444444444, "acc_norm_stderr": 0.044444444444444495 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.34, "acc_stderr": 0.04760952285695235, "acc_norm": 0.34, "acc_norm_stderr": 0.04760952285695235 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.635483870967742, "acc_stderr": 0.02737987122994325, "acc_norm": 0.635483870967742, "acc_norm_stderr": 0.02737987122994325 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.39408866995073893, "acc_stderr": 0.034381579670365446, "acc_norm": 0.39408866995073893, "acc_norm_stderr": 0.034381579670365446 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.73, "acc_stderr": 0.044619604333847394, "acc_norm": 0.73, "acc_norm_stderr": 0.044619604333847394 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.7333333333333333, "acc_stderr": 0.03453131801885417, "acc_norm": 0.7333333333333333, "acc_norm_stderr": 0.03453131801885417 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.702020202020202, "acc_stderr": 0.03258630383836556, "acc_norm": 0.702020202020202, "acc_norm_stderr": 0.03258630383836556 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.7875647668393783, "acc_stderr": 0.02951928261681723, "acc_norm": 0.7875647668393783, "acc_norm_stderr": 0.02951928261681723 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.5230769230769231, "acc_stderr": 0.025323990861736232, "acc_norm": 0.5230769230769231, "acc_norm_stderr": 0.025323990861736232 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.362962962962963, "acc_stderr": 0.02931820364520686, "acc_norm": 0

搜集汇总

数据集介绍

构建方式

该数据集是在Open LLM Leaderboard对codellama/CodeLlama-70b-Instruct-hf模型进行评测的过程中自动生成的。数据集包含63个配置，每个配置对应一项被评测的任务，例如ARC挑战集、HellaSwag、GSM8K以及涵盖多学科知识的MMLU基准测试等。数据来源于单次运行，每次运行的结果被存储为特定分割，分割名称采用运行时间戳命名，而'train'分割始终指向最新结果。此外，一个名为'results'的额外配置汇总了所有运行聚合指标，用于在排行榜上计算和展示综合性能。

特点

该数据集具有高度的结构化和可追溯性。每个任务配置独立存储，便于针对特定能力进行细粒度分析。运行结果按时间戳分割，保留了评测历史，支持对模型性能随时间变化的追踪。'latest'分割自动指向最新数据，简化了结果获取流程。数据以Parquet格式存储，兼顾了存储效率与读取速度。评测指标涵盖准确率及其标准误差，部分任务还包含标准化准确率和多项选择指标，全面反映了模型在各类自然语言理解和推理任务上的表现。

使用方法

使用该数据集时，可通过Hugging Face的datasets库加载。例如，加载'harness_winogrande_5'配置的'train'分割：`data = load_dataset("open-llm-leaderboard/details_codellama__CodeLlama-70b-Instruct-hf", "harness_winogrande_5", split="train")`。用户可根据需要指定不同的配置名称（如'harness_gsm8k_5'）和分割（如特定时间戳分割），以获取相应任务的详细评测结果。聚合结果可通过'results'配置获取，便于进行整体性能比较和分析。

背景与挑战

背景概述

在大型语言模型蓬勃发展的时代，如何客观、全面地评估模型性能成为学界与工业界共同关注的焦点。Open LLM Leaderboard作为一个开放的模型评测平台，旨在通过标准化基准任务对各类开源大语言模型进行横向比较。该数据集由Hugging Face团队于2024年创建，主要研究人员包括Clémentine等，核心研究问题在于为CodeLlama-70b-Instruct-hf这一拥有700亿参数的代码生成模型提供细粒度的评测结果。数据集覆盖了从常识推理、数学计算到多学科知识问答等63个任务配置，其评测结果对理解大型代码模型在通用与专业任务上的表现具有重要参考价值，推动了开源大模型评测体系的规范化发展。

当前挑战

该数据集所解决的领域问题在于为大语言模型提供标准化、多维度的性能评估框架，尤其针对代码生成模型在非代码任务上的泛化能力进行度量。然而，构建过程中面临诸多挑战：首先，评测任务覆盖面广，涉及ARC挑战赛、HellaSwag、GSM8K等不同难度与类型的基准，如何确保各任务评分的一致性成为难题。其次，模型参数规模达700亿，推理计算成本高昂，单次评测需消耗大量计算资源。此外，评测结果的时效性管理亦具挑战，不同时间运行的评测可能覆盖不同任务子集，需通过复杂的数据分片与版本控制机制来维护结果的可追溯性与可比性。

常用场景

经典使用场景

在大型语言模型迅猛发展的浪潮中，Open LLM Leaderboard 上的评估运行数据集扮演着不可或缺的角色。该数据集专为 codellama/CodeLlama-70b-Instruct-hf 模型的性能评估而生，囊括了从 ARC Challenge 到 GSM8K 等 63 个多样化任务的细粒度评测结果。其经典使用场景在于为研究者提供一个标准化、可复现的基准测试平台，通过加载诸如 'harness_winogrande_5' 等配置，能够精准获取模型在特定任务上的准确率与标准误差，从而横向对比不同模型的推理、常识与数学能力。

解决学术问题

该数据集精准回应了学术界对大型代码模型评估缺乏统一标准的困境。它解决了如何客观衡量 CodeLlama-70b-Instruct-hf 在多领域知识推理（如高中物理、大学数学）、常识理解（如 HellaSwag）及数学解题（如 GSM8K）上的表现这一核心问题。通过提供涵盖 57 个学科（从抽象代数到病毒学）的 MMLU 子任务结果，研究者得以洞悉模型在专业领域的知识边界，其意义在于为模型迭代提供量化依据，推动代码生成与指令遵循能力的可解释性研究。

衍生相关工作

该数据集衍生了多项推动领域进步的经典工作。其结构化评估框架启发了后续如 'Open LLM Leaderboard v2' 的基准设计，研究者基于此数据集的可复用 split 机制，开发出自动化模型对比工具（如 LM Evaluation Harness 的扩展版本）。此外，针对 CodeLlama 系列模型的专项分析论文，常引用该数据集的 MMLU 子任务结果作为模型知识广度的证据，衍生出对代码大模型在数学推理与常识对齐方面的改进策略，形成了从评估到优化的闭环研究范式。