open-llm-leaderboard/details_OpenBuddy__openbuddy-mistral-7b-v13-base

该数据集是在OpenBuddy/openbuddy-mistral-7b-v13-base模型在Open LLM Leaderboard上的评估运行期间自动创建的。数据集由64个配置组成，每个配置对应一个评估任务。它包含2次运行的数据，每次运行在每个配置中表示为特定的分割。"train"分割始终指向最新的结果。一个名为"results"的额外配置存储了所有运行的聚合结果，这些结果用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用`datasets`库中的`load_dataset`函数加载数据集的示例。This dataset was automatically created during the evaluation run of the OpenBuddy/openbuddy-mistral-7b-v13-base model on the Open LLM Leaderboard. The dataset consists of 64 configurations, each corresponding to one evaluation task. It contains data from 2 runs, with each run represented as a specific split under each configuration. The "train" split always points to the most recent results. An additional configuration named "results" stores the aggregated results across all runs, which are used to calculate and display the aggregate metrics on the Open LLM Leaderboard. The README also provides examples of how to load the dataset using the `load_dataset` function from the `datasets` library.

原始信息汇总

数据集概述

数据集简介

该数据集是在评估模型 OpenBuddy/openbuddy-mistral-7b-v13-base 在 Open LLM Leaderboard 上的运行过程中自动创建的。

数据集结构

• 数据集包含 64 个配置，每个配置对应一个评估任务。
• 数据集由 2 次运行创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_OpenBuddy__openbuddy-mistral-7b-v13-base", "harness_winogrande_5", split="train")

最新结果

以下是 2023-10-23T13:40:07.826401 运行的最新结果： python { "all": { "em": 0.28544463087248323, "em_stderr": 0.004625072383719666, "f1": 0.3571770134228197, "f1_stderr": 0.004531759792948092, "acc": 0.3628134250613192, "acc_stderr": 0.007861162191425665 }, "harness|drop|3": { "em": 0.28544463087248323, "em_stderr": 0.004625072383719666, "f1": 0.3571770134228197, "f1_stderr": 0.004531759792948092 }, "harness|gsm8k|5": { "acc": 0.012130401819560273, "acc_stderr": 0.003015294242890952 }, "harness|winogrande|5": { "acc": 0.7134964483030781, "acc_stderr": 0.01270703013996038 } }

配置详情

以下是数据集的配置详情：

• harness_arc_challenge_25

  • 分割：2023_10_11T09_56_20.350161
  • 路径：**/details_harness|arc:challenge|25_2023-10-11T09-56-20.350161.parquet
  • 分割：latest
  • 路径：**/details_harness|arc:challenge|25_2023-10-11T09-56-20.350161.parquet

• harness_drop_3

  • 分割：2023_10_23T13_40_07.826401
  • 路径：**/details_harness|drop|3_2023-10-23T13-40-07.826401.parquet
  • 分割：latest
  • 路径：**/details_harness|drop|3_2023-10-23T13-40-07.826401.parquet

• harness_gsm8k_5

  • 分割：2023_10_23T13_40_07.826401
  • 路径：**/details_harness|gsm8k|5_2023-10-23T13-40-07.826401.parquet
  • 分割：latest
  • 路径：**/details_harness|gsm8k|5_2023-10-23T13-40-07.826401.parquet

• harness_hellaswag_10

  • 分割：2023_10_11T09_56_20.350161
  • 路径：**/details_harness|hellaswag|10_2023-10-11T09-56-20.350161.parquet
  • 分割：latest
  • 路径：**/details_harness|hellaswag|10_2023-10-11T09-56-20.350161.parquet

• harness_hendrycksTest_5

  • 分割：2023_10_11T09_56_20.350161
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-10-11T09-56-20.350161.parquet 等 40 个文件
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-10-11T09-56-20.350161.parquet 等 40 个文件

• harness_hendrycksTest_abstract_algebra_5

  • 分割：2023_10_11T09_56_20.350161
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-10-11T09-56-20.350161.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-10-11T09-56-20.350161.parquet

• harness_hendrycksTest_anatomy_5

  • 分割：2023_10_11T09_56_20.350161
  • 路径：**/details_harness|hendrycksTest-anatomy|5_2023-10-11T09-56-20.350161.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-anatomy|5_2023-10-11T09-56-20.350161.parquet

• harness_hendrycksTest_astronomy_5

  • 分割：2023_10_11T09_56_20.350161
  • 路径：**/details_harness|hendrycksTest-astronomy|5_2023-10-11T09-56-20.350161.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-astronomy|5_2023-10-11T09-56-20.350161.parquet

• harness_hendrycksTest_business_ethics_5

  • 分割：2023_10_11T09_56_20.350161
  • 路径：**/details_harness|hendrycksTest-business_ethics|5_2023-10-11T09-56-20.350161.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-business_ethics|5_2023-10-11T09-56-20.350161.parquet

• harness_hendrycksTest_clinical_knowledge_5

  • 分割：2023_10_11T09_56_20.350161
  • 路径：**/details_harness|hendrycksTest-clinical_knowledge|5_2023-10-11T09-56-20.350161.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-clinical_knowledge|5_2023-10-11T09-56-20.350161.parquet

• harness_hendrycksTest_college_biology_5

  • 分割：2023_10_11T09_56_20.350161
  • 路径：**/details_harness|hendrycksTest-college_biology|5_2023-10-11T09-56-20.350161.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_biology|5_2023-10-11T09-56-20.350161.parquet

• harness_hendrycksTest_college_chemistry_5

  • 分割：2023_10_11T09_56_20.350161
  • 路径：**/details_harness|hendrycksTest-college_chemistry|5_2023-10-11T09-56-20.350161.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_chemistry|5_2023-10-11T09-56-20.350161.parquet

• harness_hendrycksTest_college_computer_science_5

  • 分割：2023_10_11T09_56_20.350161
  • 路径：**/details_harness|hendrycksTest-college_computer_science|5_2023-10-11T09-56-20.350161.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_computer_science|5_2023-10-11T09-56-20.350161.parquet

• harness_hendrycksTest_college_mathematics_5

  • 分割：2023_10_11T09_56_20.350161
  • 路径：**/details_harness|hendrycksTest-college_mathematics|5_2023-10-11T09-56-20.350161.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_mathematics|5_2023-10-11T09-56-20.350161.parquet

• harness_hendrycksTest_college_medicine_5

  • 分割：2023_10_11T09_56_20.350161
  • 路径：**/details_harness|hendrycksTest-college_medicine|5_2023-10-11T09-56-20.350161.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_medicine|5_2023-10-11T09-56-20.350161.parquet

• harness_hendrycksTest_college_physics_5

  • 分割：2023_10_11T09_56_20.350161
  • 路径：**/details_harness|hendrycksTest-college_physics|5_2023-10-11T09-56-20.350161.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-college_physics|5_2023-10-11T09-56-20.350161.parquet

• harness_hendrycksTest_computer_security_5

  • 分割：2023_10_11T09_56_20.350161
  • 路径：**/details_harness|hendrycksTest-computer_security|5_2023-10-11T09-56-20.350161.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-computer_security|5_2023-10-11T09-56-20.350161.parquet

• harness_hendrycksTest_conceptual_physics_5

  • 分割：2023_10_11T09_56_20.350161
  • 路径：**/details_harness|hendrycksTest-conceptual_physics|5_2023-10-11T09-56-20.350161.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-conceptual_physics|5_2023-10-11T09-56-20.350161.parquet

• harness_hendrycksTest_econometrics_5

  • 分割：2023_10_11T09_56_20.350161
  • 路径：**/details_harness|hendrycksTest-econometrics|5_2023-10-11T09-56-20.350161.parquet
  • 分割：latest
  • 路径：**/details_harness|hendrycksTest-econometrics|5_2023-10-11T09-56-20.350161.parquet

• harness_hendrycksTest_electrical_engineering_5

  • 分割：2023_10_11T09_56_20.350161
  • 路径：`**/details_harness|hendrycksTest-electrical_engineering|5_2023-10-11T09-56-20.3501

搜集汇总

数据集介绍

构建方式

在大型语言模型评测领域，Open LLM Leaderboard作为一项权威基准，系统性地评估了模型的多元能力。该数据集专为评测OpenBuddy/openbuddy-mistral-7b-v13-base模型而构建，其构建过程依托于两次独立的评测运行。数据集由64个配置项构成，每个配置项对应一项被评测的任务，例如ARC挑战、DROP、GSM8K及WinoGrande等。每次运行的结果被存储为特定时间戳命名的数据分割，而“train”分割则始终指向最新评测结果。此外，数据集还包含一个名为“results”的独立配置，用于汇总所有运行的聚合指标，这些指标直接服务于Open LLM Leaderboard的展示与计算。数据文件采用Parquet格式存储，确保了高效的数据存取与处理能力。

特点

该数据集的核心特点在于其结构化与动态性。它通过64个任务特定的配置，涵盖了从常识推理到数学解题的广泛评测维度，如ARC挑战、DROP、GSM8K及WinoGrande等。每个配置均包含基于时间戳的多次运行分割，允许研究者追溯模型性能的历史变化。最新结果自动指向最新运行，而“results”配置则提供聚合指标，如精确匹配率、F1分数及准确率，并附带标准误差，为模型比较提供了统计稳健性。数据集的构建完全自动化，源自Open LLM Leaderboard的评测流程，确保了数据的一致性与可复现性。这种设计使得研究者能够灵活地分析模型在不同任务上的细粒度表现。

使用方法

使用该数据集时，研究者可通过HuggingFace的datasets库便捷地加载数据。例如，要加载WinoGrande任务的评测详情，可调用load_dataset函数，指定数据集名称、配置名“harness_winogrande_5”及分割“train”。数据集支持按任务配置进行选择性加载，每个配置对应一个特定任务，如ARC挑战或GSM8K。研究者可遍历不同配置以获取各任务的详细结果，或直接使用“results”配置访问聚合指标。数据以Parquet文件形式存储，兼容主流数据处理工具。通过时间戳分割，用户还能回溯历史运行结果，进行纵向性能分析。这种灵活的使用方式，使得该数据集成为评估和比较语言模型性能的宝贵资源。

背景与挑战

背景概述

随着大语言模型（LLM）技术的迅猛发展，如何系统性地评估模型在多样化任务上的表现成为学术界与工业界共同关注的焦点。Open LLM Leaderboard由HuggingFace团队于2023年发起，旨在提供一个标准化、透明化的模型性能竞技场，推动LLM研究的良性竞争与可复现性。本数据集记录了OpenBuddy团队研发的openbuddy-mistral-7b-v13-base模型在该排行榜上的评估过程与结果，该模型基于Mistral-7B架构进行微调，专注于多语言对话能力。数据集由Clementine（HuggingFace研究员）主导创建，涵盖ARC挑战、DROP、GSM8K、HellaSwag、WinoGrande及MMLU等多个基准任务，其核心研究问题在于量化开源模型在推理、常识、数学及多领域知识上的综合能力。该数据集的发布为社区提供了细粒度的模型性能指标，助力研究者诊断模型短板并优化训练策略，对开源LLM生态的评估标准化具有重要影响。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：LLM评估需覆盖从常识推理（如HellaSwag）到数学解题（GSM8K）的广泛认知维度，而现有基准难以全面衡量模型的鲁棒性与泛化能力，例如在DROP阅读理解任务中，模型仅取得28.5%的精确匹配率，暴露出对复杂语义理解的不足。构建过程中，挑战集中于评估流程的标准化与数据一致性：模型需在64个独立配置上运行，每个配置对应不同任务与采样策略，而多次运行结果需通过时间戳分割管理，确保最新结果可追溯；此外，MMLU等包含57个子领域的测试集要求严格统一的任务格式与评估脚本，任何配置偏差都可能导致指标失真。这些挑战共同指向如何在大规模、多任务评估中维持高效、可靠且可复现的基准体系。

常用场景

经典使用场景

在大规模语言模型迅猛发展的时代背景下，OpenBuddy/openbuddy-mistral-7b-v13-base 模型的评估数据集为研究者提供了标准化、多维度的性能度量工具。该数据集覆盖了从常识推理（如 ARC-Challenge）、阅读理解（如 DROP）到数学推理（如 GSM8K）和语言理解（如 Winogrande）等经典任务，并整合了涵盖 57 个学科的专业知识测试（MMLU）。其最经典的使用场景在于通过统一的评测框架（Open LLM Leaderboard），横向对比不同模型在零样本或少样本条件下的推理能力、知识广度和鲁棒性，从而揭示模型在通用智能水平上的真实表现。

解决学术问题

该数据集精准回应了当前自然语言处理领域中的核心学术挑战——如何全面、公正地评估大语言模型的综合能力。传统评测往往局限于单一任务，难以反映模型在多样化场景下的泛化性能。通过集成多任务、多学科的细粒度评估指标（如准确率、精确匹配、F1 分数），该数据集有效解决了评测标准碎片化、结果难以复现的问题。其意义在于为模型设计提供了可量化的反馈机制，推动了从‘刷榜’到‘能力图谱’构建的研究范式转变，深刻影响了后续模型架构优化与训练策略的探索。

衍生相关工作

该数据集催生了一系列具有深远影响的衍生工作，例如基于 Leaderboard 结果进行的模型能力归因分析，研究者通过挖掘不同任务上的表现差异来揭示模型规模、训练数据分布与推理能力之间的深层关联。同时，该数据集也启发了多任务联合训练与评估框架的构建，如将 ARC 与 GSM8K 的推理路径进行融合分析，以探索模型在符号推理与数值计算上的共性瓶颈。此外，部分工作进一步将该数据集中的失败案例作为对抗训练或数据增强的起点，有效提升了模型在长尾知识检索与复杂推理场景下的稳健性。