open-llm-leaderboard-old/details_yeontaek__Platypus2-13B-QLoRa

该数据集是在评估模型yeontaek/Platypus2-13B-QLoRa时自动生成的，包含了64个配置，每个配置对应一个评估任务。数据集由2次运行生成，每次运行的结果存储在不同的分割中，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于在Open LLM Leaderboard上计算和显示聚合指标。

原始信息汇总

数据集概述

该数据集是在评估模型 yeontaek/Platypus2-13B-QLoRa 在 Open LLM Leaderboard 上的自动创建的。

数据集组成

• 数据集包含 64 个配置，每个配置对应一个评估任务。
• 数据集从 2 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_yeontaek__Platypus2-13B-QLoRa", "harness_winogrande_5", split="train")

最新结果

以下是 2023-10-22T02:07:21.128388 运行的最新结果：

python { "all": { "em": 0.007445469798657718, "em_stderr": 0.0008803652515899919, "f1": 0.06792785234899322, "f1_stderr": 0.001576095719649218, "acc": 0.4082075883226931, "acc_stderr": 0.008948818415880626 }, "harness|drop|3": { "em": 0.007445469798657718, "em_stderr": 0.0008803652515899919, "f1": 0.06792785234899322, "f1_stderr": 0.001576095719649218 }, "harness|gsm8k|5": { "acc": 0.050037907505686124, "acc_stderr": 0.006005442354577729 }, "harness|winogrande|5": { "acc": 0.7663772691397001, "acc_stderr": 0.011892194477183524 } }

配置详情

• harness_arc_challenge_25

  • 分割：2023_08_18T03_06_05.909035
  • 路径：**/details_harness|arc:challenge|25_2023-08-18T03:06:05.909035.parquet
  • 分割：latest
  • 路径：**/details_harness|arc:challenge|25_2023-08-18T03:06:05.909035.parquet

• harness_drop_3

  • 分割：2023_10_22T02_07_21.128388
  • 路径：**/details_harness|drop|3_2023-10-22T02-07-21.128388.parquet
  • 分割：latest
  • 路径：**/details_harness|drop|3_2023-10-22T02-07-21.128388.parquet

• harness_gsm8k_5

  • 分割：2023_10_22T02_07_21.128388
  • 路径：**/details_harness|gsm8k|5_2023-10-22T02-07-21.128388.parquet
  • 分割：latest
  • 路径：**/details_harness|gsm8k|5_2023-10-22T02-07-21.128388.parquet

• harness_hellaswag_10

  • 分割：2023_08_18T03_06_05.909035
  • 路径：**/details_harness|hellaswag|10_2023-08-18T03:06:05.909035.parquet
  • 分割：latest
  • 路径：**/details_harness|hellaswag|10_2023-08-18T03:06:05.909035.parquet

• harness_hendrycksTest_5

  • 分割：2023_08_18T03_06_05.909035
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-08-18T03:06:05.909035.parquet 等 40 个文件
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-08-18T03:06:05.909035.parquet 等 40 个文件

• harness_hendrycksTest_abstract_algebra_5

  • 分割：2023_08_18T03_06_05.909035
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-08-18T03:06:05.909035.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-08-18T03:06:05.909035.parquet

• harness_hendrycksTest_anatomy_5

  • 分割：2023_08_18T03_06_05.909035
  • 路径：**/details_harness|hendrycksTest-anatomy|5_2023-08-18T03:06:05.909035.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-anatomy|5_2023-08-18T03:06:05.909035.parquet

• harness_hendrycksTest_astronomy_5

  • 分割：2023_08_18T03_06_05.909035
  • 路径：**/details_harness|hendrycksTest-astronomy|5_2023-08-18T03:06:05.909035.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-astronomy|5_2023-08-18T03:06:05.909035.parquet

• harness_hendrycksTest_business_ethics_5

  • 分割：2023_08_18T03_06_05.909035
  • 路径：**/details_harness|hendrycksTest-business_ethics|5_2023-08-18T03:06:05.909035.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-business_ethics|5_2023-08-18T03:06:05.909035.parquet

• harness_hendrycksTest_clinical_knowledge_5

  • 分割：2023_08_18T03_06_05.909035
  • 路径：**/details_harness|hendrycksTest-clinical_knowledge|5_2023-08-18T03:06:05.909035.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-clinical_knowledge|5_2023-08-18T03:06:05.909035.parquet

• harness_hendrycksTest_college_biology_5

  • 分割：2023_08_18T03_06_05.909035
  • 路径：**/details_harness|hendrycksTest-college_biology|5_2023-08-18T03:06:05.909035.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_biology|5_2023-08-18T03:06:05.909035.parquet

• harness_hendrycksTest_college_chemistry_5

  • 分割：2023_08_18T03_06_05.909035
  • 路径：**/details_harness|hendrycksTest-college_chemistry|5_2023-08-18T03:06:05.909035.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_chemistry|5_2023-08-18T03:06:05.909035.parquet

• harness_hendrycksTest_college_computer_science_5

  • 分割：2023_08_18T03_06_05.909035
  • 路径：**/details_harness|hendrycksTest-college_computer_science|5_2023-08-18T03:06:05.909035.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_computer_science|5_2023-08-18T03:06:05.909035.parquet

• harness_hendrycksTest_college_mathematics_5

  • 分割：2023_08_18T03_06_05.909035
  • 路径：**/details_harness|hendrycksTest-college_mathematics|5_2023-08-18T03:06:05.909035.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_mathematics|5_2023-08-18T03:06:05.909035.parquet

• harness_hendrycksTest_college_medicine_5

  • 分割：2023_08_18T03_06_05.909035
  • 路径：**/details_harness|hendrycksTest-college_medicine|5_2023-08-18T03:06:05.909035.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_medicine|5_2023-08-18T03:06:05.909035.parquet

• harness_hendrycksTest_college_physics_5

  • 分割：2023_08_18T03_06_05.909035
  • 路径：**/details_harness|hendrycksTest-college_physics|5_2023-08-18T03:06:05.909035.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_physics|5_2023-08-18T03:06:05.909035.parquet

• harness_hendrycksTest_computer_security_5

  • 分割：2023_08_18T03_06_05.909035
  • 路径：**/details_harness|hendrycksTest-computer_security|5_2023-08-18T03:06:05.909035.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-computer_security|5_2023-08-18T03:06:05.909035.parquet

• harness_hendrycksTest_conceptual_physics_5

  • 分割：2023_08_18T03_06_05.909035
  • 路径：**/details_harness|hendrycksTest-conceptual_physics|5_2023-08-18T03:06:05.909035.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-conceptual_physics|5_2023-08-18T03:06:05.909035.parquet

• harness_hendrycksTest_econometrics_5

  • 分割：2023_08_18T03_06_05.909035
  • 路径：**/details_harness|hendrycksTest-econometrics|5_2023-08-18T03:06:05.909035.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-econometrics|5_2023-08-18T03:06:05.909035.parquet

• harness_hendrycksTest_electrical_engineering_5

  • 分割：2023_08_18T03_06_05.909035
  • 路径：**/details_harness|hendrycksTest-electrical_engineering|5_2023-08-18T03:06:05.909035.parquet

搜集汇总

数据集介绍

构建方式

该数据集是Open LLM Leaderboard在评估yeontaek/Platypus2-13B-QLoRa模型过程中自动生成的产物。它由64个配置组成，每个配置对应一个被评估的任务。数据集源自两次独立的评估运行，每次运行的结果以时间戳命名，作为特定分割存储在相应配置中，而'train'分割始终指向最新运行结果。此外，名为'results'的额外配置汇总了所有运行的聚合指标。

特点

该数据集的核心特点在于其结构化与时效性。每个评估任务均被独立封装为配置，便于研究者按需检索特定任务的细粒度结果。时间戳分割的设计保留了历史评估轨迹，支持对模型性能演变的追溯分析。聚合配置'results'则提供了跨任务的宏观性能概览，如准确率、F1分数等关键指标，为模型横向对比提供了标准化基准。

使用方法

用户可通过HuggingFace的datasets库便捷加载数据。例如，使用load_dataset函数指定数据集名称和配置名（如'harness_winogrande_5'）即可获取对应任务的评估细节。通过设置split参数为'train'或具体时间戳，可分别获取最新结果或历史运行数据。这种灵活的访问方式既满足了快速查看最新性能的需求，也支持深入探究模型在不同时间点的表现差异。

背景与挑战

背景概述

在大规模语言模型（LLM）性能评估领域，如何系统性地衡量模型在多样化任务上的泛化能力始终是核心议题。Open LLM Leaderboard由Hugging Face团队于2023年发起，旨在通过标准化评测框架推动LLM的透明化比较。该数据集专为评估yeontaek/Platypus2-13B-QLoRa模型而构建，记录了其在ARC、HellaSwag、MMLU、GSM8K、Winogrande及DROP等多项基准任务上的详细表现。研究团队通过QLoRa微调技术，在13B参数规模上探索了高效适配策略，为资源受限场景下的模型优化提供了重要参考。作为Open LLM Leaderboard的组成部分，该数据集不仅呈现了模型在推理、常识理解与数学问题上的能力边界，更通过可复现的评测流程，为后续研究确立了比较基准，对低资源微调范式的验证与推广产生了深远影响。

当前挑战

当前数据集所面临的挑战首先体现在领域问题的复杂性上：LLM需同时应对常识推理（如HellaSwag）、数学推导（GSM8K）与多学科知识（MMLU）等多维度评测，单一模型难以在所有任务上取得均衡突破。Platypus2-13B-QLoRa在DROP任务中的EM值仅为0.74%，揭示了模型在离散推理与精确提取方面的显著短板。构建过程中的挑战则在于评测管线的标准化与可复现性：需确保64个配置项对应不同任务与采样参数（如few-shot数量）的精确映射，同时维护多次运行结果的时间戳分片与聚合逻辑。此外，模型微调策略（如QLoRa的量化与低秩适配）与评测基准之间的交互效应尚待深入分析，如何在保持参数高效性的同时提升跨任务泛化能力，仍是亟待突破的瓶颈。

常用场景

经典使用场景

在大型语言模型（LLM）的评估领域，该数据集作为Open LLM Leaderboard的评测结果存储库，扮演着标准化基准测试的核心角色。它系统性地记录了Platypus2-13B-QLoRa模型在ARC、HellaSwag、MMLU、GSM8K、Winogrande及DROP等多样任务上的性能指标，包括准确率、F1分数与困惑度等。研究者通过调用Hugging Face的load_dataset接口，可便捷地加载不同时间戳下的评测分片，从而复现模型在特定任务上的细粒度表现，为模型间的横向对比提供了可靠的数据基石。

解决学术问题

该数据集精准回应当前LLM研究中的关键挑战——如何客观、可复现地衡量模型在通用知识与推理能力上的综合水平。通过整合涵盖常识推理、数学求解、阅读理解及多领域学术知识的评测任务，它有效解决了单一指标或孤立任务评估带来的偏差问题。其时间戳分片机制支持对模型不同训练阶段或微调策略的效果追踪，为分析模型能力演化、诊断性能瓶颈提供了实证依据，显著推动了LLM评估体系的规范化与透明化进程。

衍生相关工作

该数据集衍生了一系列围绕LLM评测基准优化与模型能力剖析的经典工作。研究者基于其多任务评测体系，提出了诸如动态难度调整的评估协议，或利用其细粒度结果分析模型在不同知识领域（如MMLU中的医学、法律子集）的专长与短板。同时，该数据集催生了针对低资源微调技术（如QLoRa）效能验证的标准化流程，启发了后续工作探索参数高效方法在保持推理性能方面的边界，并推动了跨模型评测平台（如EleutherAI的LM Evaluation Harness）的数据互操作规范发展。