open-llm-leaderboard-old/details_OpenBuddy__openbuddy-deepseek-10b-v17.1-4k

该数据集是在Open LLM Leaderboard上对模型OpenBuddy/openbuddy-deepseek-10b-v17.1-4k进行评估时自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，一个名为results的配置存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集简介

该数据集是在对模型 OpenBuddy/openbuddy-deepseek-10b-v17.1-4k 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集组成

• 数据集包含 63 个配置，每个配置对应一个评估任务。
• 数据集从 1 次运行中创建，每个运行可以在每个配置中作为一个特定的分片找到，分片名称使用运行的时间戳。
• "train" 分片始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_OpenBuddy__openbuddy-deepseek-10b-v17.1-4k", "harness_winogrande_5", split="train")

最新结果

以下是 2024-01-22T15:20:55.890442 运行的最新结果：

python { "all": { "acc": 0.5275033536344877, "acc_stderr": 0.03384069886094482, "acc_norm": 0.5358946325439762, "acc_norm_stderr": 0.034669341786001784, "mc1": 0.3182374541003672, "mc1_stderr": 0.016305988648920616, "mc2": 0.45957802308964574, "mc2_stderr": 0.015178526140313892 }, "harness|arc:challenge|25": { "acc": 0.507679180887372, "acc_stderr": 0.014609667440892567, "acc_norm": 0.5435153583617748, "acc_norm_stderr": 0.014555949760496442 }, "harness|hellaswag|10": { "acc": 0.579964150567616, "acc_stderr": 0.004925556104679422, "acc_norm": 0.7692690699063931, "acc_norm_stderr": 0.004204395478506433 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.34, "acc_stderr": 0.04760952285695235, "acc_norm": 0.34, "acc_norm_stderr": 0.04760952285695235 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.4444444444444444, "acc_stderr": 0.04292596718256981, "acc_norm": 0.4444444444444444, "acc_norm_stderr": 0.04292596718256981 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.5855263157894737, "acc_stderr": 0.04008973785779206, "acc_norm": 0.5855263157894737, "acc_norm_stderr": 0.04008973785779206 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.54, "acc_stderr": 0.05009082659620332, "acc_norm": 0.54, "acc_norm_stderr": 0.05009082659620332 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.5962264150943396, "acc_stderr": 0.03019761160019795, "acc_norm": 0.5962264150943396, "acc_norm_stderr": 0.03019761160019795 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.5833333333333334, "acc_stderr": 0.04122728707651283, "acc_norm": 0.5833333333333334, "acc_norm_stderr": 0.04122728707651283 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.36, "acc_stderr": 0.04824181513244218, "acc_norm": 0.36, "acc_norm_stderr": 0.04824181513244218 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.38, "acc_stderr": 0.048783173121456316, "acc_norm": 0.38, "acc_norm_stderr": 0.048783173121456316 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.44, "acc_stderr": 0.04988876515698589, "acc_norm": 0.44, "acc_norm_stderr": 0.04988876515698589 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.48554913294797686, "acc_stderr": 0.03810871630454764, "acc_norm": 0.48554913294797686, "acc_norm_stderr": 0.03810871630454764 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.2647058823529412, "acc_stderr": 0.04389869956808778, "acc_norm": 0.2647058823529412, "acc_norm_stderr": 0.04389869956808778 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.68, "acc_stderr": 0.04688261722621504, "acc_norm": 0.68, "acc_norm_stderr": 0.04688261722621504 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.44680851063829785, "acc_stderr": 0.0325005368436584, "acc_norm": 0.44680851063829785, "acc_norm_stderr": 0.0325005368436584 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.3333333333333333, "acc_stderr": 0.044346007015849245, "acc_norm": 0.3333333333333333, "acc_norm_stderr": 0.044346007015849245 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.45517241379310347, "acc_stderr": 0.04149886942192118, "acc_norm": 0.45517241379310347, "acc_norm_stderr": 0.04149886942192118 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.2777777777777778, "acc_stderr": 0.023068188848261117, "acc_norm": 0.2777777777777778, "acc_norm_stderr": 0.023068188848261117 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.3333333333333333, "acc_stderr": 0.04216370213557835, "acc_norm": 0.3333333333333333, "acc_norm_stderr": 0.04216370213557835 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.31, "acc_stderr": 0.04648231987117316, "acc_norm": 0.31, "acc_norm_stderr": 0.04648231987117316 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.5870967741935483, "acc_stderr": 0.02800913812540039, "acc_norm": 0.5870967741935483, "acc_norm_stderr": 0.02800913812540039 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.4039408866995074, "acc_stderr": 0.03452453903822039, "acc_norm": 0.4039408866995074, "acc_norm_stderr": 0.03452453903822039 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.56, "acc_stderr": 0.04988876515698589, "acc_norm": 0.56, "acc_norm_stderr": 0.04988876515698589 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.6787878787878788, "acc_stderr": 0.03646204963253812, "acc_norm": 0.6787878787878788, "acc_norm_stderr": 0.03646204963253812 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.6767676767676768, "acc_stderr": 0.03332299921070645, "acc_norm": 0.6767676767676768, "acc_norm_stderr": 0.03332299921070645 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.7616580310880829, "acc_stderr": 0.03074890536390988, "acc_norm": 0.7616580310880829, "acc_norm_stderr": 0.03074890536390988 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.47692307692307695, "acc_stderr": 0.025323990861736118, "acc_norm": 0.47692307692307695, "acc_norm_stderr": 0.025323990861736118 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.2518518518518518, "acc_stderr": 0.0264661175389599

搜集汇总

数据集介绍

构建方式

在大型语言模型评估领域，该数据集作为Open LLM Leaderboard评估流程的自动化产物而构建。其核心机制在于，当特定模型在开放大语言模型排行榜上接受系统性评测时，平台自动捕获并结构化每一次评估运行的详细输出。数据集通过63个独立配置项组织，每个配置精确对应一项评测任务，例如ARC挑战赛或Hellaswag。每次评估运行均以带时间戳的独立分割形式存储，确保了评估历史的可追溯性，而“train”分割则始终指向最新的评估结果，辅以一个专门的“results”配置来聚合所有运行的宏观指标。

特点

该数据集呈现出高度的结构化与任务导向性特征，其设计紧密服务于大语言模型的多维度能力评估。数据集覆盖了从常识推理、知识问答到数学计算等广泛任务，具体体现在ARC、Hellaswag、MMLU（以HendrycksTest系列呈现）、TruthfulQA、Winogrande及GSM8K等权威基准上。每个任务配置不仅包含模型预测的准确率等核心指标，还详尽记录了标准误差，为模型性能的稳健性分析提供了量化依据。这种以任务为纲、数据与元数据并重的组织形式，使得研究者能够深入洞察模型在不同认知维度上的具体表现与局限。

使用方法

为利用该数据集进行模型性能的深度分析，研究者可通过Hugging Face的`datasets`库便捷加载。典型的使用范式是指定数据集名称、目标评测任务配置（如`harness_winogrande_5`）以及所需的数据分割（例如`split="train"`以获取最新结果）。通过这种接口，用户能够直接访问模型在特定任务上的详细评估记录，包括每道题目的输入、模型输出及参考答案。这些细粒度数据支持进行误差分析、性能对比及模型行为研究，是推动大语言模型透明化评估与迭代改进的关键资源。

背景与挑战

背景概述

在大型语言模型（LLM）迅猛发展的时代背景下，评估其综合能力成为推动技术演进的关键环节。HuggingFace平台推出的Open LLM Leaderboard，作为一个开放、透明的基准测试框架，旨在系统性地衡量不同语言模型在多样化任务上的性能表现。数据集“open-llm-leaderboard-old/details_OpenBuddy__openbuddy-deepseek-10b-v17.1-4k”正是这一框架下的产物，它记录了OpenBuddy团队开发的“openbuddy-deepseek-10b-v17.1-4k”模型于2024年1月22日在该排行榜上的详细评估结果。该数据集由HuggingFace社区自动生成，其核心研究问题聚焦于通过标准化测试（如ARC挑战赛、HellaSwag、MMLU及TruthfulQA等）来量化模型在知识推理、常识理解、数学计算及事实准确性等多维度的能力，为模型迭代与学术研究提供了宝贵的实证数据。

当前挑战

该数据集所应对的领域挑战，在于如何构建一个全面、公正且可复现的评估体系，以准确衡量语言模型在复杂、开放域任务上的泛化能力与可靠性。具体而言，挑战包括设计能够有效区分模型细微性能差异的多样化基准任务，例如在专业学科知识（如大学物理、法律）与常识推理之间取得平衡。在数据集构建过程中，挑战则体现在自动化评估流程的稳健性保障上，需确保多次运行结果的一致性，并妥善处理不同评估任务（共63项配置）产生的海量细节数据的整合与版本管理，同时维护数据集的轻量级访问接口，以支持研究社区的高效利用与结果验证。

常用场景

经典使用场景

在大型语言模型评估领域，该数据集作为Open LLM Leaderboard的评估运行结果，其经典使用场景体现在为研究者提供模型OpenBuddy/openbuddy-deepseek-10b-v17.1-4k在多样化基准测试中的详细性能数据。通过涵盖ARC挑战赛、HellaSwag、MMLU以及TruthfulQA等63项任务配置，该数据集能够系统性地衡量模型在常识推理、语言理解、专业知识和真实性等多维度的能力，为模型间的横向对比与性能剖析奠定数据基础。

解决学术问题

该数据集有效解决了大型语言模型评估中标准化与可复现性的核心学术问题。通过整合多个权威评测基准，它提供了统一的评估框架，使得研究者能够客观量化模型在复杂任务上的泛化能力与知识边界。其意义在于推动了模型评估从单一指标向多维度、细粒度分析的转变，促进了评估方法的科学化与透明化，对模型研发的迭代优化与学术交流产生了深远影响。

衍生相关工作

围绕该数据集所代表的评估范式，衍生了一系列经典研究工作。例如，基于Open LLM Leaderboard的评估结果，后续研究深入探讨了模型规模、训练数据与性能之间的关联，并催生了针对评估偏差的校正方法。同时，它也激励了如HELM、BIG-bench等更全面评估基准的构建，以及针对模型安全性、公平性等新维度的评估框架的提出，共同推动了评估生态的完善。