open-llm-leaderboard/details_project-baize__baize-v2-7b

该数据集是在模型project-baize/baize-v2-7b的评估运行中自动创建的。数据集由64个配置组成，每个配置对应一个评估任务。数据集由2次运行创建，每次运行的结果都作为一个特定的分割存储在每个配置中，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，并用于计算和显示在Open LLM Leaderboard上的聚合指标。

This dataset was automatically created during the evaluation runs of the model project-baize/baize-v2-7b. It consists of 64 configurations, each corresponding to one evaluation task. The dataset is generated from two runs, and the results of each run are stored as a specific split within each configuration, with the split name being the timestamp of the run. The 'train' split always points to the most recent results. In addition, there is a configuration named 'results' that stores the aggregated results from all runs and is used to calculate and display the aggregate metrics on the Open LLM Leaderboard.

原始信息汇总

数据集概述

该数据集是在对模型 project-baize/baize-v2-7b 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集组成

• 数据集包含 64 个配置，每个配置对应一个评估任务。
• 数据集从 2 次运行中创建，每次运行可以在每个配置中作为一个特定的分割找到，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_project-baize__baize-v2-7b", "harness_winogrande_5", split="train")

最新结果

以下是 2023-10-17T20:41:40.256040 运行的最新结果：

python { "all": { "em": 0.0012583892617449664, "em_stderr": 0.0003630560893118995, "f1": 0.05669882550335583, "f1_stderr": 0.0013268477906001916, "acc": 0.37641345330495407, "acc_stderr": 0.009122223164597095 }, "harness|drop|3": { "em": 0.0012583892617449664, "em_stderr": 0.0003630560893118995, "f1": 0.05669882550335583, "f1_stderr": 0.0013268477906001916 }, "harness|gsm8k|5": { "acc": 0.04169825625473844, "acc_stderr": 0.005506205058175759 }, "harness|winogrande|5": { "acc": 0.7111286503551697, "acc_stderr": 0.01273824127101843 } }

配置详情

• harness_arc_challenge_25

  • 分割: 2023_07_19T16_24_12.338026
    • 路径: **/details_harness|arc:challenge|25_2023-07-19T16:24:12.338026.parquet
  • 分割: latest
    • 路径: **/details_harness|arc:challenge|25_2023-07-19T16:24:12.338026.parquet

• harness_drop_3

  • 分割: 2023_10_17T20_41_40.256040
    • 路径: **/details_harness|drop|3_2023-10-17T20-41-40.256040.parquet
  • 分割: latest
    • 路径: **/details_harness|drop|3_2023-10-17T20-41-40.256040.parquet

• harness_gsm8k_5

  • 分割: 2023_10_17T20_41_40.256040
    • 路径: **/details_harness|gsm8k|5_2023-10-17T20-41-40.256040.parquet
  • 分割: latest
    • 路径: **/details_harness|gsm8k|5_2023-10-17T20-41-40.256040.parquet

• harness_hellaswag_10

  • 分割: 2023_07_19T16_24_12.338026
    • 路径: **/details_harness|hellaswag|10_2023-07-19T16:24:12.338026.parquet
  • 分割: latest
    • 路径: **/details_harness|hellaswag|10_2023-07-19T16:24:12.338026.parquet

• harness_hendrycksTest_5

  • 分割: 2023_07_19T16_24_12.338026
    • 路径:
      • **/details_harness|hendrycksTest-abstract_algebra|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-anatomy|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-astronomy|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-business_ethics|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-clinical_knowledge|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-college_biology|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-college_chemistry|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-college_computer_science|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-college_mathematics|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-college_medicine|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-college_physics|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-computer_security|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-conceptual_physics|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-econometrics|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-electrical_engineering|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-elementary_mathematics|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-formal_logic|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-global_facts|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-high_school_biology|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-high_school_chemistry|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-high_school_computer_science|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-high_school_european_history|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-high_school_geography|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-high_school_mathematics|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-high_school_microeconomics|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-high_school_physics|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-high_school_psychology|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-high_school_statistics|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-high_school_us_history|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-high_school_world_history|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-human_aging|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-human_sexuality|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-international_law|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-jurisprudence|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-logical_fallacies|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-machine_learning|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-management|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-marketing|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-medical_genetics|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-miscellaneous|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-moral_disputes|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-moral_scenarios|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-nutrition|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-philosophy|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-prehistory|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-professional_accounting|5_2023-07-19T16:24:12.338026.parquet
      • **/details_harness|hendrycksTest-professional_law|5_2023-07-19T16:24:12.338026.parquet
      • `**/details

搜集汇总

数据集介绍

构建方式

在大型语言模型评估领域，open-llm-leaderboard/details_project-baize__baize-v2-7b数据集是通过自动化流程构建的。该数据集源自对Baize-v2-7b模型在Open LLM Leaderboard上的评估运行，系统自动捕获了模型在多个基准任务上的详细性能数据。评估过程涉及两次独立的运行，每次运行均生成以时间戳命名的数据分割，最终整合为包含64种配置的结构化数据集，每种配置对应一项特定的评估任务，并以Parquet格式存储评估细节，确保了数据的可追溯性和完整性。

特点

该数据集的核心特征在于其多维度的评估覆盖与精细的结构化组织。它不仅涵盖了ARC挑战赛、HellaSwag、Winogrande等通用推理任务，还广泛包含了MMLU基准下的数十个专业学科领域，如抽象代数、临床知识、计算机安全等，提供了对模型知识广度与深度的全面洞察。数据集通过“latest”分割始终指向最新评估结果，并设有专门的“results”配置来聚合所有运行的宏观指标，这种设计使得研究者能够便捷地追踪模型性能的演进历程，并进行跨任务的对比分析。

使用方法

为利用此数据集进行深入分析，研究者可通过Hugging Face的datasets库进行加载。典型的使用方法是调用load_dataset函数，指定数据集名称、目标配置（如“harness_winogrande_5”）以及所需的数据分割（如“train”或具体时间戳分割）。加载后，用户可访问模型在特定任务上的详细输出与评估指标，例如准确率、F1分数及其标准误。这些细粒度数据支持对模型错误模式的诊断、不同任务间性能差异的探究，以及为模型优化提供实证依据。

背景与挑战

背景概述

在大型语言模型（LLM）快速发展的背景下，评估其综合能力成为推动技术进步的关键环节。Open LLM Leaderboard作为HuggingFace平台上的权威评测框架，旨在通过标准化测试集对各类开源模型进行系统性评估。该数据集源于对Baize-v2-7b模型在2023年进行的评测运行，由HuggingFace团队主导构建，核心研究问题聚焦于量化模型在常识推理、数学解题、知识问答等多维度任务上的性能表现。通过整合ARC、HellaSwag、MMLU等经典基准，该数据集为社区提供了透明、可复现的模型比较依据，显著促进了开源大模型研发的规范化和迭代效率。

当前挑战

该数据集致力于解决大模型能力评估的综合性挑战，其核心在于设计能够全面覆盖语言理解、逻辑推理与专业知识的高效评测体系。构建过程中的挑战首先体现在评测任务的多样性与平衡性上，需协调数十项子任务的数据整合与指标归一化。其次，多次评测运行产生的时间序列数据带来了版本管理与结果一致性的维护难题，确保‘latest’分割能准确反映最新结果需精细的工程设计。此外，跨领域任务如数学（GSM8K）与伦理（Moral Scenarios）的评估标准各异，要求数据集在指标聚合时兼顾特异性和可比性。

常用场景

经典使用场景

在大语言模型评估领域，该数据集作为Open LLM Leaderboard的组成部分，其经典使用场景在于为研究人员提供标准化、可复现的模型性能基准测试。通过整合ARC挑战赛、HellaSwag、Winogrande及MMLU等多个权威评测任务，数据集构建了一个多维度的评估框架，使得不同模型在常识推理、语言理解、数学解题及专业知识等核心能力上的表现得以量化比较。这种系统化的评估机制，为模型迭代与优化提供了关键的数据支撑。

实际应用

在实际应用层面，该数据集为模型开发者、企业及研究机构提供了关键的决策依据。开发者可依据详细的评测结果，精准定位模型在特定任务（如数学推理GSM8k或阅读理解DROP）上的优势与短板，从而进行有针对性的改进。企业用户在选型或部署大语言模型时，可参考该数据集提供的客观性能指标，评估模型是否满足实际业务场景的需求，例如在需要高精度常识推理的对话系统中，Winogrande等任务的得分具有重要参考价值。

衍生相关工作

围绕该数据集及其所属的Open LLM Leaderboard生态，已衍生出一系列重要的相关研究工作。例如，基于评测结果的分析催生了针对模型脆弱性的深入研究，探索其在特定知识领域（如MMLU涵盖的各类学科）的表现差异。同时，该基准也激励了新型评估方法学的创新，如如何更公平地对比不同规模的模型，或设计更能反映真实应用场景的评测任务。这些工作共同推动了大语言模型评估体系向更精细、更公正的方向演进。