open-llm-leaderboard-old/details_psmathur__orca_mini_13b

该数据集是在Open LLM Leaderboard上对模型psmathur/orca_mini_13b进行评估时自动创建的。数据集由64个配置组成，每个配置对应一个评估任务。数据集由2次运行生成，每次运行的结果存储为特定配置中的一个分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，并用于在Open LLM Leaderboard上计算和显示聚合指标。

原始信息汇总

数据集概述

数据集来源

该数据集是在对模型 psmathur/orca_mini_13b 进行评估运行期间自动创建的，评估结果展示在 Open LLM Leaderboard 上。

数据集结构

• 配置数量：数据集包含 64 个配置，每个配置对应一个评估任务。
• 运行次数：数据集从 2 次运行中创建。每个运行结果作为一个特定的分割（split）存储在每个配置中，分割名称使用运行的时间戳。
• 最新结果："train" 分割始终指向最新的结果。
• 汇总结果：一个额外的配置 "results" 存储所有运行的汇总结果，用于计算和展示在 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_psmathur__orca_mini_13b", "harness_winogrande_5", split="train")

最新结果

以下是 2023-10-15T13:38:44.745207 运行 的最新结果： python { "all": { "em": 0.03355704697986577, "em_stderr": 0.001844249316229893, "f1": 0.11233116610738275, "f1_stderr": 0.002439557952450172, "acc": 0.3208366219415943, "acc_stderr": 0.006738290586283765 }, "harness|drop|3": { "em": 0.03355704697986577, "em_stderr": 0.001844249316229893, "f1": 0.11233116610738275, "f1_stderr": 0.002439557952450172 }, "harness|gsm8k|5": { "acc": 0.0, "acc_stderr": 0.0 }, "harness|winogrande|5": { "acc": 0.6416732438831886, "acc_stderr": 0.01347658117256753 } }

配置详情

以下是部分配置及其数据文件路径：

• config_name: harness_arc_challenge_25

  • split: 2023_08_09T09_53_33.020588
    • path: **/details_harness|arc:challenge|25_2023-08-09T09:53:33.020588.parquet
  • split: latest
    • path: **/details_harness|arc:challenge|25_2023-08-09T09:53:33.020588.parquet

• config_name: harness_drop_3

  • split: 2023_10_15T13_38_44.745207
    • path: **/details_harness|drop|3_2023-10-15T13-38-44.745207.parquet
  • split: latest
    • path: **/details_harness|drop|3_2023-10-15T13-38-44.745207.parquet

• config_name: harness_gsm8k_5

  • split: 2023_10_15T13_38_44.745207
    • path: **/details_harness|gsm8k|5_2023-10-15T13-38-44.745207.parquet
  • split: latest
    • path: **/details_harness|gsm8k|5_2023-10-15T13-38-44.745207.parquet

• config_name: harness_hellaswag_10

  • split: 2023_08_09T09_53_33.020588
    • path: **/details_harness|hellaswag|10_2023-08-09T09:53:33.020588.parquet
  • split: latest
    • path: **/details_harness|hellaswag|10_2023-08-09T09:53:33.020588.parquet

• config_name: harness_hendrycksTest_5

  • split: 2023_08_09T09_53_33.020588
    • path:
      • **/details_harness|hendrycksTest-abstract_algebra|5_2023-08-09T09:53:33.020588.parquet
      • **/details_harness|hendrycksTest-anatomy|5_2023-08-09T09:53:33.020588.parquet
      • ...（其他路径省略）
  • split: latest
    • path:
      • **/details_harness|hendrycksTest-abstract_algebra|5_2023-08-09T09:53:33.020588.parquet
      • **/details_harness|hendrycksTest-anatomy|5_2023-08-09T09:53:33.020588.parquet
      • ...（其他路径省略）

搜集汇总

数据集介绍

构建方式

该数据集是Open LLM Leaderboard在评估模型psmathur/orca_mini_13b时自动生成的产物，完整记录了评估过程中的详细结果。数据集构建的核心逻辑是将每次评估运行（run）对应的任务结果以独立配置（configuration）的形式组织，每个配置对应一个被评估的基准任务，如ARC Challenge、HellaSwag、GSM8K等。评估运行的时间戳被用作数据分割（split）的标识，每个配置下包含以该时间戳命名的分割，而“latest”分割则始终指向最新一次评估的结果。此外，数据集还设有一个名为“results”的配置，用于汇总所有评估运行的聚合指标，这些指标直接服务于Leaderboard上最终分数的计算与展示。全部数据以Parquet格式存储，确保了高效的读写性能。

使用方法

研究者可通过HuggingFace的datasets库便捷地加载该数据集。加载时需指定数据集名称和目标任务的配置名称，例如使用load_dataset("open-llm-leaderboard/details_psmathur__orca_mini_13b", "harness_winogrande_5", split="train")即可获取Winogrande任务的最新评估细节。若需访问某次特定历史运行的结果，可将split参数替换为对应的时间戳字符串。对于需要获取所有任务聚合结果的分析场景，则加载名为“results”的配置。数据以Parquet格式提供，支持高效的列式读取，便于后续进行统计分析与可视化展示。这一设计使得研究者能够灵活地按任务、按时间维度精确抽取所需信息，进行模型的纵向对比与横向剖析。

背景与挑战

背景概述

随着大语言模型（LLM）领域的蓬勃发展，如何公正、全面地评估模型性能成为学界与工业界共同关注的焦点。在此背景下，HuggingFace团队于2023年推出了Open LLM Leaderboard，旨在为开源社区提供一个标准化、可复现的模型评估基准。该榜单通过集成多种经典任务（如ARC、HellaSwag、MMLU等），对模型在推理、常识、数学等多维能力上进行量化考核。作为该评估体系的重要组成部分，数据集open-llm-leaderboard-old/details_psmathur__orca_mini_13b专门记录了模型psmathur/orca_mini_13b在每次评测中的详细结果，包括各任务的准确率、F1分数及标准误差等细粒度指标。该数据集的创建不仅为开发者提供了模型性能的透明回溯机制，更推动了LLM评估的规范化和社区协作，对后续模型优化与对比研究产生了深远影响。

当前挑战

该数据集所承载的核心挑战在于如何有效应对大语言模型评估中固有的多维困境。一方面，LLM在不同任务上表现差异显著，例如orca_mini_13b在GSM8K数学推理任务上准确率为0.0%，而在Winogrande常识推理上达到64.17%，这种极端性能波动揭示了当前模型在逻辑推理与领域泛化能力上的严重不均衡，亟需更具针对性的评估策略。另一方面，数据集的构建过程面临技术复杂性：需将每次评测的64个任务配置与多次运行结果进行精确关联，保证时间戳、任务配置与指标数据的一致性；同时，评测结果以parquet格式存储，且不同运行轮次的数据分布在多个分片中，如何高效加载、聚合与版本管理成为数据工程上的显著挑战。

常用场景

经典使用场景

在大型语言模型（LLM）性能评估领域，该数据集为模型在多项基准任务上的表现提供了细粒度的记录。其经典使用场景在于，通过加载特定任务配置（如winogrande、gsm8k等），研究者可精准复现模型在常识推理、数学求解或阅读理解等维度的评测结果。数据集以parquet格式存储每次运行的逐样本细节，并自动聚合为全局指标，使得跨模型、跨时间点的性能对比成为可能，从而支撑起开源LLM社区中模型能力排名的透明化与可追溯性。

解决学术问题

该数据集系统性地解决了开源LLM评估中结果不可复现与指标碎片化的学术难题。通过标准化存储每次评测的原始输出与统计误差，它使研究者能够深入分析模型在特定任务上的失败模式，而非仅依赖宏观分数。例如，针对GSM8K数学推理任务，零准确率的记录直接揭示了模型在符号计算方面的根本性局限。这种细粒度数据为诊断模型短板、指导改进方向提供了坚实依据，推动了评估方法论从粗放式汇总向诊断式分析的范式演进。

实际应用

在产业实践中，该数据集被广泛用于模型选型与质量监控。企业可依据Winogrande等任务上64.17%的准确率等具体指标，快速筛选出适合特定业务场景（如客服对话中的指代消解）的基础模型。同时，数据集按时间戳分片存储多次评测结果的功能，使得持续追踪模型迭代过程中的性能漂移成为可能，为A/B测试与版本回滚决策提供了数据驱动的支撑。这一机制显著降低了将学术模型落地为工业级应用时的试错成本。

数据集最近研究

最新研究方向

该数据集聚焦于大语言模型在多种自然语言理解与推理任务上的性能评估，是Open LLM Leaderboard生态中的关键组成部分。前沿研究正围绕orca_mini_13b等轻量级模型展开，通过其在GSM8K数学推理、DROP阅读理解及WinoGrande常识推理等基准上的表现，揭示小参数模型在复杂认知任务中的能力边界。这一方向与当前大模型小型化、高效部署的热点趋势紧密契合，为探索模型压缩与知识蒸馏提供了可量化的评价标尺。数据集的多轮评估记录与细粒度任务配置，使得研究者能追踪模型迭代中的效能波动，其意义在于推动可复现的模型比较，并加速开源社区在资源受限场景下对高性能语言智能的追求。