open-llm-leaderboard/details_hakurei__instruct-12b

该数据集是在Open LLM Leaderboard上对模型hakurei/instruct-12b进行评估时自动生成的。数据集由64个配置组成，每个配置对应一个被评估的任务。数据集是从2次运行中创建的，每次运行在每个配置中表示为特定的分割。train分割始终指向最新的结果。一个名为results的额外配置存储了所有运行的聚合结果，这些结果用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用Python代码加载运行中的详细信息的示例，并包含了特定运行的最新结果。

This dataset was automatically generated during the evaluation of the model hakurei/instruct-12b on the Open LLM Leaderboard. The dataset consists of 64 configurations, each corresponding to one evaluated task. The dataset is created from 2 runs, where each run is represented as a specific split within each configuration. The `train` split always points to the most recent results. An additional configuration named `results` stores the aggregated results across all runs, which are used to calculate and display the aggregated metrics on the Open LLM Leaderboard. The README also provides examples of how to load run details using Python code, and includes the latest results for specific runs.

原始信息汇总

数据集概述

数据集来源

该数据集是在评估模型 hakurei/instruct-12b 在 Open LLM Leaderboard 上的自动创建的。

数据集结构

• 数据集包含 64 个配置，每个配置对应一个评估任务。
• 数据集从 2 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_hakurei__instruct-12b", "harness_winogrande_5", split="train")

最新结果

以下是 2023-10-13T03:15:41.124238 运行的最新结果： python { "all": { "em": 0.16977768456375839, "em_stderr": 0.0038448301206051574, "f1": 0.22378880033557078, "f1_stderr": 0.00395143426678314, "acc": 0.31842215019031544, "acc_stderr": 0.007423061456253094 }, "harness|drop|3": { "em": 0.16977768456375839, "em_stderr": 0.0038448301206051574, "f1": 0.22378880033557078, "f1_stderr": 0.00395143426678314 }, "harness|gsm8k|5": { "acc": 0.002274450341167551, "acc_stderr": 0.0013121578148674003 }, "harness|winogrande|5": { "acc": 0.6345698500394633, "acc_stderr": 0.013533965097638788 } }

配置详情

• harness_arc_challenge_25

  • 分割: 2023_07_19T18_10_16.385807
    • 路径: **/details_harness|arc:challenge|25_2023-07-19T18:10:16.385807.parquet
  • 分割: latest
    • 路径: **/details_harness|arc:challenge|25_2023-07-19T18:10:16.385807.parquet

• harness_drop_3

  • 分割: 2023_10_13T03_15_41.124238
    • 路径: **/details_harness|drop|3_2023-10-13T03-15-41.124238.parquet
  • 分割: latest
    • 路径: **/details_harness|drop|3_2023-10-13T03-15-41.124238.parquet

• harness_gsm8k_5

  • 分割: 2023_10_13T03_15_41.124238
    • 路径: **/details_harness|gsm8k|5_2023-10-13T03-15-41.124238.parquet
  • 分割: latest
    • 路径: **/details_harness|gsm8k|5_2023-10-13T03-15-41.124238.parquet

• harness_hellaswag_10

  • 分割: 2023_07_19T18_10_16.385807
    • 路径: **/details_harness|hellaswag|10_2023-07-19T18:10:16.385807.parquet
  • 分割: latest
    • 路径: **/details_harness|hellaswag|10_2023-07-19T18:10:16.385807.parquet

• harness_hendrycksTest_5

  • 分割: 2023_07_19T18_10_16.385807
    • 路径:
      • **/details_harness|hendrycksTest-abstract_algebra|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-anatomy|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-astronomy|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-business_ethics|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-clinical_knowledge|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-college_biology|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-college_chemistry|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-college_computer_science|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-college_mathematics|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-college_medicine|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-college_physics|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-computer_security|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-conceptual_physics|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-econometrics|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-electrical_engineering|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-elementary_mathematics|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-formal_logic|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-global_facts|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-high_school_biology|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-high_school_chemistry|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-high_school_computer_science|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-high_school_european_history|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-high_school_geography|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-high_school_mathematics|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-high_school_microeconomics|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-high_school_physics|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-high_school_psychology|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-high_school_statistics|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-high_school_us_history|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-high_school_world_history|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-human_aging|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-human_sexuality|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-international_law|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-jurisprudence|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-logical_fallacies|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-machine_learning|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-management|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-marketing|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-medical_genetics|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-miscellaneous|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-moral_disputes|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-moral_scenarios|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-nutrition|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-philosophy|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-prehistory|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-professional_accounting|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-professional_law|5_2023-07-19T18:10:16.385807.parquet
      • **/details_harness|hendrycksTest-professional_medicine|5_2023-07-1

搜集汇总

数据集介绍

构建方式

该数据集是在Open LLM Leaderboard对模型hakurei/instruct-12b进行评估的过程中自动生成的。它包含64个配置，每个配置对应一个被评估的任务，例如ARC挑战赛、DROP、GSM8K、HellaSwag以及涵盖57个学科的MMLU基准测试。数据来自两次独立的运行，每次运行的结果被存储为特定配置下的一个分割，分割名称以运行的时间戳命名。此外，一个名为“results”的配置汇集了所有运行的聚合结果，用于在排行榜上计算和展示总体指标。

使用方法

用户可以通过Hugging Face的datasets库便捷地加载该数据集。例如，使用load_dataset函数指定数据集名称和任务配置（如“harness_winogrande_5”），并通过split参数选择“train”或特定时间戳的分割来获取所需运行的结果。加载后的数据可直接用于分析模型在各任务上的详细表现，包括精确匹配率、F1分数和准确率等指标，为模型评估与比较提供了标准化接口。

背景与挑战

背景概述

在大型语言模型（LLM）迅猛发展的浪潮中，如何系统、公正地评估模型的多维度能力成为学术界与工业界共同关注的焦点。Open LLM Leaderboard由Hugging Face团队于2023年发起，旨在通过标准化评测框架为社区提供可复现的模型性能对比。该数据集正是针对hakurei/instruct-12b模型在Leaderboard上的评估结果而自动构建，由Clémentine Fourrier等人主导，核心研究问题在于量化该指令微调模型在常识推理、数学计算与阅读理解等任务上的表现。作为开源评测生态的重要组成部分，该数据集不仅记录了模型在ARC、HellaSwag、MMLU等基准上的详细得分，更通过结构化存储为后续的模型迭代与横向比较提供了可靠依据，有力推动了LLM评估体系的透明化与规范化。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：LLM评估需覆盖从基础推理到专业知识的广泛范畴，例如GSM8K任务中模型准确率仅0.23%，凸显出数学推理能力的显著短板。构建过程中，数据需整合来自不同时间戳的多轮评测结果，并确保64个配置项（对应不同任务）与最新分片间的逻辑一致性，这对数据管线的鲁棒性提出了严苛要求。此外，评测指标（如EM、F1、ACC）的标准化计算与跨任务可比性维护，以及结果文件（Parquet格式）的高效存储与版本追溯，均构成了工程实现上的具体挑战。

常用场景

经典使用场景

在开放大语言模型评测领域，该数据集作为Open LLM Leaderboard的标准化评估结果记录载体，被广泛用于对hakurei/instruct-12b模型进行多维度的能力剖析。其经典使用模式是通过加载特定任务配置（如harness_winogrande_5），提取模型在常识推理、数学求解、阅读理解等64项子任务上的细粒度性能指标，从而构建模型能力的全景图谱。研究者可借助其分次运行的时间戳划分，追踪模型在不同迭代版本中的性能演化轨迹，为模型迭代优化提供量化依据。

解决学术问题

该数据集系统性地解决了大语言模型评测中普遍存在的评估碎片化与不可复现问题。通过将模型在ARC挑战、HellaSwag、GSM8K、MMLU等权威基准上的评测结果以结构化格式统一存储，它为学术社区提供了可比较、可追溯的标准化评估参照系。其价值在于揭示了模型在常识推理（Winogrande准确率63.46%）、数学推理（GSM8K准确率0.23%）等核心能力上的真实水平，为理解指令微调模型的性能边界与能力短板提供了实证基础，推动了评测范式的规范化演进。

实际应用

在实际应用中，该数据集为模型选型与部署决策提供了关键支撑。企业或研究机构可基于其记录的各任务精确率、召回率与F1分数，评估hakurei/instruct-12b在特定场景（如DROP阅读理解、MMLU多学科知识问答）中的适用性。例如，当需要部署一个面向常识推理的对话系统时，Winogrande任务63.46%的准确率可作为模型是否胜任该场景的重要参考指标。同时，数据集的时间戳机制使得持续监控模型在迭代过程中的性能漂移成为可能，为模型的生产环境维护与版本更新提供了量化管理工具。

数据集最近研究

最新研究方向

在大规模语言模型迅猛发展的当下，对模型能力的系统性评估已成为推动领域进步的关键环节。Open LLM Leaderboard作为业界公认的模型性能基准平台，其评估数据集的构建与迭代直接映射了当前研究的前沿动态。针对hakurei/instruct-12b模型的评估运行所生成的数据集，不仅涵盖了从常识推理（如Winogrande）到数学求解（如GSM8K）再到阅读理解（如DROP）等多元化任务，更通过精细化的配置设计实现了对模型能力的多维度剖析。这一数据集的最新研究方向聚焦于构建可复现、高细粒度的模型评估体系，其意义在于为研究者提供标准化的比较框架，从而揭示不同模型在复杂推理、知识应用等核心能力上的真实差异。随着2023年10月最新评估结果的发布，该数据集已成为追踪大模型能力演进的重要参照，推动了模型可解释性与公平评估方法的深入探索。