open-llm-leaderboard-old/details_codellama__CodeLlama-13b-Instruct-hf

该数据集是在评估模型codellama/CodeLlama-13b-Instruct-hf运行期间自动创建的，用于Open LLM Leaderboard。数据集包含64个配置，每个配置对应一个评估任务。数据集由2次运行创建，每次运行都有特定的分割，分割名称使用运行的时间戳。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于计算和显示Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集简介

该数据集是在对模型 codellama/CodeLlama-13b-Instruct-hf 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集结构

• 数据集包含 64 个配置，每个配置对应一个评估任务。
• 数据集从 2 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_codellama__CodeLlama-13b-Instruct-hf", "harness_winogrande_5", split="train")

最新结果

以下是 2023-10-16T02:27:47.858383 运行的最新结果： python { "all": { "em": 0.0009437919463087249, "em_stderr": 0.0003144653119413506, "f1": 0.05136010906040279, "f1_stderr": 0.001238131643997091, "acc": 0.4034791730120101, "acc_stderr": 0.011133121900373116 }, "harness|drop|3": { "em": 0.0009437919463087249, "em_stderr": 0.0003144653119413506, "f1": 0.05136010906040279, "f1_stderr": 0.001238131643997091 }, "harness|gsm8k|5": { "acc": 0.12661106899166036, "acc_stderr": 0.009159715283081094 }, "harness|winogrande|5": { "acc": 0.6803472770323599, "acc_stderr": 0.013106528517665136 } }

配置详情

• harness_arc_challenge_25

  • 分割：2023_08_25T17_15_30.693025
  • 路径：**/details_harness|arc:challenge|25_2023-08-25T17:15:30.693025.parquet
  • 分割：latest
  • 路径：**/details_harness|arc:challenge|25_2023-08-25T17:15:30.693025.parquet

• harness_drop_3

  • 分割：2023_10_16T02_27_47.858383
  • 路径：**/details_harness|drop|3_2023-10-16T02-27-47.858383.parquet
  • 分割：latest
  • 路径：**/details_harness|drop|3_2023-10-16T02-27-47.858383.parquet

• harness_gsm8k_5

  • 分割：2023_10_16T02_27_47.858383
  • 路径：**/details_harness|gsm8k|5_2023-10-16T02-27-47.858383.parquet
  • 分割：latest
  • 路径：**/details_harness|gsm8k|5_2023-10-16T02-27-47.858383.parquet

• harness_hellaswag_10

  • 分割：2023_08_25T17_15_30.693025
  • 路径：**/details_harness|hellaswag|10_2023-08-25T17:15:30.693025.parquet
  • 分割：latest
  • 路径：**/details_harness|hellaswag|10_2023-08-25T17:15:30.693025.parquet

• harness_hendrycksTest_5

  • 分割：2023_08_25T17_15_30.693025
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-08-25T17:15:30.693025.parquet 等 40 个文件
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-08-25T17:15:30.693025.parquet 等 40 个文件

• harness_hendrycksTest_abstract_algebra_5

  • 分割：2023_08_25T17_15_30.693025
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-08-25T17:15:30.693025.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-08-25T17:15:30.693025.parquet

• harness_hendrycksTest_anatomy_5

  • 分割：2023_08_25T17_15_30.693025
  • 路径：**/details_harness|hendrycksTest-anatomy|5_2023-08-25T17:15:30.693025.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-anatomy|5_2023-08-25T17:15:30.693025.parquet

• harness_hendrycksTest_astronomy_5

  • 分割：2023_08_25T17_15_30.693025
  • 路径：**/details_harness|hendrycksTest-astronomy|5_2023-08-25T17:15:30.693025.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-astronomy|5_2023-08-25T17:15:30.693025.parquet

• harness_hendrycksTest_business_ethics_5

  • 分割：2023_08_25T17_15_30.693025
  • 路径：**/details_harness|hendrycksTest-business_ethics|5_2023-08-25T17:15:30.693025.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-business_ethics|5_2023-08-25T17:15:30.693025.parquet

• harness_hendrycksTest_clinical_knowledge_5

  • 分割：2023_08_25T17_15_30.693025
  • 路径：**/details_harness|hendrycksTest-clinical_knowledge|5_2023-08-25T17:15:30.693025.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-clinical_knowledge|5_2023-08-25T17:15:30.693025.parquet

• harness_hendrycksTest_college_biology_5

  • 分割：2023_08_25T17_15_30.693025
  • 路径：**/details_harness|hendrycksTest-college_biology|5_2023-08-25T17:15:30.693025.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_biology|5_2023-08-25T17:15:30.693025.parquet

• harness_hendrycksTest_college_chemistry_5

  • 分割：2023_08_25T17_15_30.693025
  • 路径：**/details_harness|hendrycksTest-college_chemistry|5_2023-08-25T17:15:30.693025.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_chemistry|5_2023-08-25T17:15:30.693025.parquet

• harness_hendrycksTest_college_computer_science_5

  • 分割：2023_08_25T17_15_30.693025
  • 路径：**/details_harness|hendrycksTest-college_computer_science|5_2023-08-25T17:15:30.693025.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_computer_science|5_2023-08-25T17:15:30.693025.parquet

• harness_hendrycksTest_college_mathematics_5

  • 分割：2023_08_25T17_15_30.693025
  • 路径：**/details_harness|hendrycksTest-college_mathematics|5_2023-08-25T17:15:30.693025.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_mathematics|5_2023-08-25T17:15:30.693025.parquet

• harness_hendrycksTest_college_medicine_5

  • 分割：2023_08_25T17_15_30.693025
  • 路径：**/details_harness|hendrycksTest-college_medicine|5_2023-08-25T17:15:30.693025.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_medicine|5_2023-08-25T17:15:30.693025.parquet

• harness_hendrycksTest_college_physics_5

  • 分割：2023_08_25T17_15_30.693025
  • 路径：**/details_harness|hendrycksTest-college_physics|5_2023-08-25T17:15:30.693025.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_physics|5_2023-08-25T17:15:30.693025.parquet

• harness_hendrycksTest_computer_security_5

  • 分割：2023_08_25T17_15_30.693025
  • 路径：**/details_harness|hendrycksTest-computer_security|5_2023-08-25T17:15:30.693025.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-computer_security|5_2023-08-25T17:15:30.693025.parquet

• harness_hendrycksTest_conceptual_physics_5

  • 分割：2023_08_25T17_15_30.693025
  • 路径：**/details_harness|hendrycksTest-conceptual_physics|5_2023-08-25T17:15:30.693025.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-conceptual_physics|5_2023-08-25T17:15:30.693025.parquet

• harness_hendrycksTest_econometrics_5

  • 分割：2023_08_25T17_15_30.693025
  • 路径：**/details_harness|hendrycksTest-econometrics|5_2023-08-25T17:15:30.693025.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-econometrics|5_2023-08-25T17:15:30.693025.parquet

• harness_hendrycksTest_electrical_engineering_5

  • 分割：2023_08_25T17_15_30.693025
  • 路径：**/details_harness|hendrycksTest-electrical_engineering|5_2023-08-25T17:15:30.693025.parquet

搜集汇总

数据集介绍

构建方式

该数据集是在Open LLM排行榜上对codellama/CodeLlama-13b-Instruct-hf模型进行自动化评估的过程中生成的。其构建方式基于两次独立的评估运行，每次运行的详细结果被存储为独立的拆分，并以运行时间戳命名，而'train'拆分则始终指向最新一次评估的产出。数据集共包含64个配置，每个配置对应一个被评估的特定任务，例如ARC挑战、DROP、GSM8K等，此外还有一个名为'results'的额外配置，用于汇总所有运行的综合指标，支撑排行榜上聚合度量的计算与展示。

特点

数据集的核心特点在于其层次化的结构设计与时间维度的追踪能力。每个任务配置下均保留了历次评估运行的独立拆分，使得研究者能够追溯模型性能随版本迭代的演变轨迹。数据以Parquet格式存储，保证了高效读写与大规模数据处理。'results'配置整合了如准确率、F1分数等关键指标及其标准误差，为模型能力的横向对比提供了量化依据。这种设计不仅满足了排行榜实时更新的需求，也为后续的复现分析与细粒度诊断奠定了坚实基础。

使用方法

使用该数据集时，可通过HuggingFace的datasets库进行便捷加载。例如，若需加载winogrande任务的评估详情，可指定配置名'harness_winogrande_5'，并通过split参数选择'train'以获取最新结果，或选择时间戳命名的拆分以访问历史记录。加载后的数据可直接用于分析模型在特定任务上的表现，或结合'results'配置进行跨任务的综合评估。研究者亦可根据需要，遍历不同配置以构建全面的模型能力画像，从而支撑后续的模型优化与基准测试工作。

背景与挑战

背景概述

在大型语言模型（LLM）领域，如何系统性地评估模型在多样化任务上的表现，一直是推动模型迭代与优化的核心挑战。Open LLM Leaderboard作为HuggingFace社区发起的一项基准评测平台，旨在为开源大模型提供标准化、可复现的评估框架，其影响力日益凸显。该数据集诞生于2023年，由HuggingFace团队（主要联系人为Clementine）主导创建，核心研究问题聚焦于如何通过多维度任务（如常识推理、数学求解、知识问答等）客观衡量模型能力。以CodeLlama-13B-Instruct-hf为例的评测记录，不仅为研究者提供了细粒度的性能指标（如准确率、F1分数），更推动了代码生成与指令跟随模型的透明化比较，成为社区衡量模型进步的重要参照。

当前挑战

该数据集所解决的领域问题在于，大模型评测面临任务多样性不足与评估标准不统一的困境，Open LLM Leaderboard通过整合ARC、HellaSwag、GSM8K等64项子任务，构建了覆盖推理、知识、数学等多维度的评估体系，有效缓解了单一基准的局限性。然而，构建过程伴随显著挑战：其一，不同模型在相同任务上的评测结果可能受随机种子、解码策略等超参数影响，需通过多次运行（如该数据集记录的两轮运行）来保证统计稳定性；其二，评测任务的数据格式与计算资源需求差异巨大，例如DROP数据集依赖精确匹配（EM）与F1分数，而GSM8K则侧重逐步骤推理的准确性，统一处理这些异构任务对数据管道设计提出了高要求。

常用场景

经典使用场景

在大型语言模型评估领域，该数据集作为Open LLM Leaderboard的标准化评测工具，被广泛用于衡量CodeLlama-13b-Instruct-hf模型在多项自然语言理解与生成任务上的表现。其经典使用场景涵盖对模型在ARC挑战、DROP推理、GSM8K数学问题、HellaSwag常识推理、WinoGrande代词消歧以及涵盖57个学科的MMLU基准测试中的性能进行系统化评估。通过提供64个任务配置与多轮运行结果的时间戳分割，研究者能够精准追踪模型在不同时间点、不同任务维度上的能力演化轨迹。

衍生相关工作

该数据集衍生了一系列重要的学术工作，包括基于其评测结果进行的模型改进研究、评估方法优化以及跨模型对比分析。研究者利用该数据集验证了指令微调策略对代码模型性能的提升效果，并探索了不同推理策略（如思维链提示）在GSM8K等任务上的增益。此外，该数据集还催生了自动化评估流水线的标准化工作，推动了如LM Evaluation Harness等评测框架的广泛采用，为后续LLaMA、Mistral等模型的系统化评估奠定了方法论基础。

数据集最近研究

最新研究方向

在大型语言模型快速迭代的浪潮中，CodeLlama-13b-Instruct-hf作为面向代码生成与理解的指令微调模型，其性能评估已成为衡量代码智能前沿水平的重要标尺。当前研究聚焦于通过Open LLM Leaderboard等标准化基准，系统性地评测模型在多维度任务上的泛化能力，涵盖常识推理（如Winogrande）、数学逻辑（如GSM8K）以及文本理解（如DROP）等关键领域。该数据集的构建与公开化，不仅为社区提供了可复现的细粒度评估框架，还揭示了指令微调模型在代码相关任务中存在的性能瓶颈与潜力，推动了面向代码的LLM在鲁棒性、推理深度与领域适应性方面的优化方向。其影响在于加速了代码智能助手从实验室走向工业应用的进程，为自动化编程、智能调试等热点应用奠定了可靠的评测基础。