open-llm-leaderboard-old/details_jambroz__sixtyoneeighty-7b

该数据集是在评估模型jambroz/sixtyoneeighty-7b时自动生成的，评估是在Open LLM Leaderboard上进行的。数据集包含63个配置，每个配置对应一个评估任务。数据集由2次运行生成，每次运行的结果存储在不同的分割中，分割名称使用运行的时间戳命名。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

该数据集是在评估模型 jambroz/sixtyoneeighty-7b 在 Open LLM Leaderboard 上的运行过程中自动创建的。数据集包含 63 个配置，每个配置对应一个评估任务。数据集从 2 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train" 分割始终指向最新的结果。

数据集结构

配置

• 配置名称: harness_arc_challenge_25

  • 数据文件:
    • 分割: 2024_04_05T21_12_08.934429
      • 路径: **/details_harness|arc:challenge|25_2024-04-05T21-12-08.934429.parquet
    • 分割: 2024_04_05T21_16_11.113328
      • 路径: **/details_harness|arc:challenge|25_2024-04-05T21-16-11.113328.parquet
    • 分割: latest
      • 路径: **/details_harness|arc:challenge|25_2024-04-05T21-16-11.113328.parquet

• 配置名称: harness_gsm8k_5

  • 数据文件:
    • 分割: 2024_04_05T21_12_08.934429
      • 路径: **/details_harness|gsm8k|5_2024-04-05T21-12-08.934429.parquet
    • 分割: 2024_04_05T21_16_11.113328
      • 路径: **/details_harness|gsm8k|5_2024-04-05T21-16-11.113328.parquet
    • 分割: latest
      • 路径: **/details_harness|gsm8k|5_2024-04-05T21-16-11.113328.parquet

• 配置名称: harness_hellaswag_10

  • 数据文件:
    • 分割: 2024_04_05T21_12_08.934429
      • 路径: **/details_harness|hellaswag|10_2024-04-05T21-12-08.934429.parquet
    • 分割: 2024_04_05T21_16_11.113328
      • 路径: **/details_harness|hellaswag|10_2024-04-05T21-16-11.113328.parquet
    • 分割: latest
      • 路径: **/details_harness|hellaswag|10_2024-04-05T21-16-11.113328.parquet

• 配置名称: harness_hendrycksTest_5

  • 数据文件:
    • 分割: 2024_04_05T21_12_08.934429
      • 路径:
        • **/details_harness|hendrycksTest-abstract_algebra|5_2024-04-05T21-12-08.934429.parquet
        • **/details_harness|hendrycksTest-anatomy|5_2024-04-05T21-12-08.934429.parquet
        • **/details_harness|hendrycksTest-astronomy|5_2024-04-05T21-12-08.934429.parquet
        • **/details_harness|hendrycksTest-business_ethics|5_2024-04-05T21-12-08.934429.parquet
        • **/details_harness|hendrycksTest-clinical_knowledge|5_2024-04-05T21-12-08.934429.parquet
        • **/details_harness|hendrycksTest-college_biology|5_2024-04-05T21-12-08.934429.parquet
        • **/details_harness|hendrycksTest-college_chemistry|5_2024-04-05T21-12-08.934429.parquet
        • **/details_harness|hendrycksTest-college_computer_science|5_2024-04-05T21-12-08.934429.parquet
        • **/details_harness|hendrycksTest-college_mathematics|5_2024-04-05T21-12-08.934429.parquet
        • **/details_harness|hendrycksTest-college_medicine|5_2024-04-05T21-12-08.934429.parquet
        • **/details_harness|hendrycksTest-college_physics|5_2024-04-05T21-12-08.934429.parquet
        • **/details_harness|hendrycksTest-computer_security|5_2024-04-05T21-12-08.934429.parquet
        • **/details_harness|hendrycksTest-conceptual_physics|5_2024-04-05T21-12-08.934429.parquet
        • **/details_harness|hendrycksTest-econometrics|5_2024-04-05T21-12-08.934429.parquet
        • **/details_harness|hendrycksTest-electrical_engineering|5_2024-04-05T21-12-08.934429.parquet

最新结果

以下是 2024-04-05T21:16:11.113328 运行 的最新结果：

python { "all": { "acc": 0.6529073614839261, "acc_stderr": 0.03214334252439312, "acc_norm": 0.6544409415660778, "acc_norm_stderr": 0.032791861097330115, "mc1": 0.5140758873929009, "mc1_stderr": 0.01749656371704279, "mc2": 0.6757680170745927, "mc2_stderr": 0.014861299253949599 }, "harness|arc:challenge|25": { "acc": 0.6655290102389079, "acc_stderr": 0.013787460322441374, "acc_norm": 0.6911262798634812, "acc_norm_stderr": 0.013501770929344 }, "harness|hellaswag|10": { "acc": 0.6801433977295359, "acc_stderr": 0.004654675606841551, "acc_norm": 0.8636725751842262, "acc_norm_stderr": 0.0034243464481037156 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.34, "acc_stderr": 0.047609522856952365, "acc_norm": 0.34, "acc_norm_stderr": 0.047609522856952365 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.6148148148148148, "acc_stderr": 0.04203921040156279, "acc_norm": 0.6148148148148148, "acc_norm_stderr": 0.04203921040156279 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.7105263157894737, "acc_stderr": 0.03690677986137283, "acc_norm": 0.7105263157894737, "acc_norm_stderr": 0.03690677986137283 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.6, "acc_stderr": 0.04923659639173309, "acc_norm": 0.6, "acc_norm_stderr": 0.04923659639173309 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.6943396226415094, "acc_stderr": 0.028353298073322666, "acc_norm": 0.6943396226415094, "acc_norm_stderr": 0.028353298073322666 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.7361111111111112, "acc_stderr": 0.03685651095897532, "acc_norm": 0.7361111111111112, "acc_norm_stderr": 0.03685651095897532 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.47, "acc_stderr": 0.05016135580465919, "acc_norm": 0.47, "acc_norm_stderr": 0.05016135580465919 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.56, "acc_stderr": 0.04988876515698589, "acc_norm": 0.56, "acc_norm_stderr": 0.04988876515698589 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.35, "acc_stderr": 0.04793724854411018, "acc_norm": 0.35, "acc_norm_stderr": 0.04793724854411018 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.6473988439306358, "acc_stderr": 0.03643037168958548, "acc_norm": 0.6473988439306358, "acc_norm_stderr": 0.03643037168958548 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.45098039215686275, "acc_stderr": 0.049512182523962625, "acc_norm": 0.45098039215686275, "acc_norm_stderr": 0.049512182523962625 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.78, "acc_stderr": 0.04163331998932263, "acc_norm": 0.78, "acc_norm_stderr": 0.04163331998932263 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.5702127659574469, "acc_stderr": 0.03236214467715564, "acc_norm": 0.5702127659574469, "acc_norm_stderr": 0.03236214467715564 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.47368421052631576, "acc_stderr": 0.046970851366478626, "acc_norm": 0.47368421052631576, "acc_norm_stderr": 0.046970851366478626 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.5724137931034483, "acc_stderr": 0.04122737111370333, "

搜集汇总

数据集介绍

构建方式

在大型语言模型评估领域，Open LLM Leaderboard 提供了一个标准化评测框架。本数据集正是围绕模型 jambroz/sixtyoneeighty-7b 的评估过程自动构建而成，其核心设计涵盖 63 个配置，每个配置对应一项具体评测任务。数据集的生成基于两次独立的运行，每次运行的结果以时间戳命名作为独立的分割存储于各配置中，而 'train' 分割则始终指向最新一次运行的输出。此外，一个名为 'results' 的独立配置专门汇集了所有运行的聚合指标，用于在排行榜上计算并展示模型的综合表现。

特点

该数据集展现出鲜明的结构化与时效性特征。其 63 个配置覆盖了从常识推理（如 ARC-Challenge、HellaSwag）到数学问题求解（GSM8K）、多领域知识问答（MMLU 的 57 个子任务）以及常识消歧（Winogrande）等广泛的能力维度。每个配置内的多时间戳分割设计，使得研究者能够追溯模型在不同时间点的性能演变，而 'latest' 分割的自动更新机制则确保了数据始终反映最新的评估结果。这种分层架构不仅便于横向比较模型在各类任务上的表现，也支持纵向追踪性能波动。

使用方法

研究人员可通过 Hugging Face Datasets 库便捷地加载和使用本数据集。具体而言，调用 load_dataset 函数并指定数据集名称与目标配置（如 'harness_winogrande_5'）即可获取对应任务的评测详情，通过 split 参数选择 'train' 或特定时间戳分割来访问不同运行结果。例如，加载 Winogrande 任务的最新数据时，使用 split='train' 即可自动指向最新一次评估的 parquet 文件。这一设计使得复现排行榜结果、深入分析模型在各子任务上的细粒度表现变得简洁高效。

背景与挑战

背景概述

该数据集源于2024年HuggingFace团队对jambroz/sixtyoneeighty-7b模型在Open LLM Leaderboard上的评估过程，由Clementine等人主导创建。核心研究问题在于系统性地量化该7B参数规模语言模型在多样化自然语言理解与推理任务上的综合表现，涵盖ARC Challenge、HellaSwag、GSM8K及涵盖57个学科的MMLU基准测试。通过记录63项配置的详细评估结果，该数据集为模型性能的可重复性验证与横向对比提供了标准化基础设施，对推动开源大语言模型的透明化评估生态具有重要支撑作用。

当前挑战

当前挑战聚焦于两大维度。其一，领域问题层面，大语言模型在复杂推理（如GSM8K数学推理准确率仅61.9%）与细粒度知识掌握（如大学数学仅35.0%准确率）上仍存在显著短板，亟需更鲁棒的评估框架来诊断模型在逻辑演绎与跨学科泛化上的系统性缺陷。其二，构建过程中，多轮评估结果的时间戳管理、异构任务配置的标准化存储（如57个MMLU子任务与TruthfulQA的独立评分结构），以及确保最新结果与历史快照的可追溯性，对数据管线的版本控制与自动化维护构成了严峻考验。

常用场景

经典使用场景

在大型语言模型的评估体系中，该数据集作为Open LLM Leaderboard的自动化评估结果存储库，为研究者提供了模型jambroz/sixtyoneeighty-7b在63个细分任务上的详尽性能数据。其经典使用场景涵盖从常识推理（如HellaSwag、ARC-Challenge）到数学问题求解（GSM8K）的多维度能力剖析，尤其通过Winogrande、TruthfulQA等基准测试，可系统性地评估模型在语言理解、知识推理与事实一致性方面的表现。研究者可便捷地加载特定任务的评估细节，用于横向对比不同模型的优势与短板。

实际应用

在实际应用中，该数据集为模型选型与优化提供了量化依据。开发者可依据其在数学推理（GSM8K准确率61.9%）与常识问答（ARC-Challenge归一化准确率69.1%）等维度的表现，判断模型是否适用于教育辅助、智能客服或科学文献分析等场景。此外，通过分析模型在HellaSwag（归一化准确率86.4%）上的优势，可指导其在文本续写与上下文理解类产品中的部署决策，降低试错成本。

衍生相关工作

该数据集衍生了一系列关于模型评估方法论的研究工作。基于其细粒度的任务结果，后续工作探索了多任务学习中的能力迁移模式，以及不同提示策略（如few-shot设置）对模型表现的影响。同时，该数据集的公开性催生了自动化评估流水线的改进，例如通过解析其parquet格式的中间结果，研究者开发了更高效的可视化工具与模型诊断框架，进一步推动了大模型基准测试的标准化进程。