遇见数据集

open-llm-leaderboard-old/details_ozayezerceli__BetterSaul-7B-slerp

收藏
Hugging Face2024-03-22 更新2024-06-22 收录
官方服务:

资源简介:

该数据集是在评估模型ozayezerceli/BetterSaul-7B-slerp时自动创建的。数据集由63个配置组成,每个配置对应一个评估任务。数据集是从1次运行中创建的,每次运行都可以在特定配置中找到,并且每个配置都有一个名为“train”的分割,指向最新的结果。此外,还有一个名为“results”的配置,存储了所有运行的聚合结果,并用于计算和显示在Open LLM Leaderboard上的聚合指标。README还提供了如何加载运行细节的示例代码,并展示了最新的评估结果。

该数据集是在评估模型ozayezerceli/BetterSaul-7B-slerp时自动创建的。数据集由63个配置组成,每个配置对应一个评估任务。数据集是从1次运行中创建的,每次运行都可以在特定配置中找到,并且每个配置都有一个名为“train”的分割,指向最新的结果。此外,还有一个名为“results”的配置,存储了所有运行的聚合结果,并用于计算和显示在Open LLM Leaderboard上的聚合指标。README还提供了如何加载运行细节的示例代码,并展示了最新的评估结果。

原始信息汇总

数据集概述

该数据集是在对模型 ozayezerceli/BetterSaul-7B-slerp 进行评估运行期间自动创建的。数据集包含 63 个配置,每个配置对应一个评估任务。数据集从 1 次运行中创建,每次运行的详细信息可以在每个配置的特定分片中找到,分片名称使用运行的时间戳。"train" 分片始终指向最新的结果。

数据集结构

配置

数据集包含以下配置:

  • harness_arc_challenge_25
  • harness_gsm8k_5
  • harness_hellaswag_10
  • harness_hendrycksTest_5

每个配置包含多个分片,包括特定时间戳的分片和最新的分片。

分片

每个配置的分片包括:

  • 特定时间戳的分片,例如 2024_03_22T01_39_20.926719
  • 最新的分片,例如 latest

数据文件路径

每个分片的数据文件路径如下:

  • harness_arc_challenge_25:
    • **/details_harness|arc:challenge|25_2024-03-22T01-39-20.926719.parquet
  • harness_gsm8k_5:
    • **/details_harness|gsm8k|5_2024-03-22T01-39-20.926719.parquet
  • harness_hellaswag_10:
    • **/details_harness|hellaswag|10_2024-03-22T01-39-20.926719.parquet
  • harness_hendrycksTest_5:
    • **/details_harness|hendrycksTest-abstract_algebra|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-anatomy|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-astronomy|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-business_ethics|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-clinical_knowledge|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-college_biology|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-college_chemistry|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-college_computer_science|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-college_mathematics|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-college_medicine|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-college_physics|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-computer_security|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-conceptual_physics|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-econometrics|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-electrical_engineering|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-elementary_mathematics|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-formal_logic|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-global_facts|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-high_school_biology|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-high_school_chemistry|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-high_school_computer_science|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-high_school_european_history|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-high_school_geography|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-high_school_government_and_politics|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-high_school_macroeconomics|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-high_school_mathematics|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-high_school_microeconomics|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-high_school_physics|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-high_school_psychology|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-high_school_statistics|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-high_school_us_history|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-high_school_world_history|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-human_aging|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-human_sexuality|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-international_law|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-jurisprudence|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-logical_fallacies|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-machine_learning|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-management|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-marketing|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-medical_genetics|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-miscellaneous|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-moral_disputes|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-moral_scenarios|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-nutrition|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-philosophy|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-prehistory|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-professional_accounting|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-professional_law|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-professional_medicine|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-professional_psychology|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-public_relations|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-security_studies|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-sociology|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-us_foreign_policy|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-virology|5_2024-03-22T01-39-20.926719.parquet
    • **/details_harness|hendrycksTest-world_religions|5_2024-03-22T01-39-20.926719.parquet

最新结果

以下是来自 2024-03-22T01:39:20.926719 运行的最新结果:

python { "all": { "acc": 0.6469318827706652, "acc_stderr": 0.03211876738336368, "acc_norm": 0.6474374045483131, "acc_norm_stderr": 0.03277873333603153, "mc1": 0.4614443084455324, "mc1_stderr": 0.017451384104637455, "mc2": 0.6307577163869668, "mc2_stderr": 0.014942073227822787 }, "harness|arc:challenge|25": { "acc": 0.6424914675767918, "acc_stderr": 0.014005494275916573, "acc_norm": 0.6808873720136519, "acc_norm_stderr": 0.01362169611917331 }, "harness|hellaswag|10": { "acc": 0.6704839673371839, "acc_stderr": 0.004690768393854473, "acc_norm": 0.862975502887871, "acc_norm_stderr": 0.003431704298641856 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.34, "acc_stderr": 0.04760952285695236, "acc_norm": 0.34, "acc_norm_stderr": 0.04760952285695236 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.

搜集汇总
数据集介绍
open-llm-leaderboard-old/details_ozayezerceli__BetterSaul-7B-slerp 数据集图片
构建方式
该数据集是在Open LLM Leaderboard平台上对ozayezerceli/BetterSaul-7B-slerp模型进行自动化评估过程中生成的。数据集包含63个配置,每个配置对应一项被评估的任务。所有数据来源于一次完整的运行,每次运行的结果以时间戳命名的分割形式存储在各配置中,而'train'分割始终指向最新一次运行的评估结果。此外,一个名为'results'的额外配置汇总了该次运行的聚合指标,用于在Leaderboard上计算和展示综合性能。
特点
数据集的一大特色在于其结构化的组织方式:每个任务作为一个独立配置,便于研究者按需访问特定任务的评估细节。每次运行的结果被清晰分割,并通过时间戳标识,支持历史结果的追溯与比较。'train'分割自动指向最新数据,确保了数据集的时效性。同时,'results'配置提供了各任务及总体性能的聚合统计,包括准确率及其标准误差等关键指标,全面反映了模型在多种基准上的表现。
使用方法
用户可通过Hugging Face的datasets库便捷地加载数据。例如,使用`load_dataset("open-llm-leaderboard/details_ozayezerceli__BetterSaul-7B-slerp", "harness_winogrande_5", split="train")`即可获取Winogrande任务的最新评估结果。若需访问特定历史运行的数据,只需将split参数替换为对应的时间戳字符串即可。这种设计使得研究人员能够灵活地分析模型在不同时间点、不同任务上的性能演变。
背景与挑战
背景概述
大语言模型(LLM)的蓬勃发展催生了对其性能进行标准化评估的迫切需求。在此背景下,Hugging Face团队于2023年推出了Open LLM Leaderboard,旨在为开源社区提供一个公正、透明的模型能力竞技平台。该数据集正是为评估由ozayezerceli开发的BetterSaul-7B-slerp模型而自动生成,记录了其在2024年3月22日完成的单次评测运行结果。数据集由63个配置组成,分别对应ARC-Challenge、HellaSwag、MMLU、TruthfulQA、Winogrande和GSM8K等经典基准测试任务,全面覆盖了模型在推理、常识、知识、真实性和数学等多维度的能力表现。这一数据集的创建不仅为BetterSaul-7B-slerp模型的性能提供了可复现的量化依据,也丰富了Open LLM Leaderboard的评估生态,推动了开源大模型评测标准的演进。
当前挑战
该数据集所承载的核心挑战在于如何实现对开源大语言模型全面、公正且高效的性能评估。从领域问题层面看,大语言模型的能力维度极为广泛,单一任务无法反映其综合水平,因此数据集需整合涵盖推理、知识、数学、对抗性问答等多种类型的基准测试,这对评估框架的设计提出了高要求。在构建过程中,挑战同样显著:首先,评测结果需具备可复现性,每次运行的环境差异(如硬件、库版本)可能导致结果波动,数据集的生成必须精确记录运行元数据;其次,任务配置众多(本数据集达63个),数据格式的统一与存储的规范性成为工程难题;最后,如何确保评测结果能及时、准确地反映模型的最新进展,并保持与Open LLM Leaderboard榜单的同步更新,也是持续运维中不可忽视的挑战。
常用场景
经典使用场景
在自然语言处理与大型语言模型评估的学术疆域中,Open LLM Leaderboard 作为业界公认的基准测试平台,其评估结果数据集承载着关键使命。该数据集专为剖析 BetterSaul-7B-slerp 这类模型的性能而生,通过系统收集其在 ARC、HellaSwag、MMLU 等 63 项不同任务上的细粒度得分与误差指标,为研究者提供了一面映照模型推理、常识与知识掌握程度的明镜。经典用法在于,科研人员可直接加载特定任务配置(如 'harness_winogrande_5')下的数据,以可复现的方式分析模型在代词消歧、科学问答或数学推理上的行为模式,从而精准定位能力短板。
解决学术问题
该数据集的核心贡献在于解决了大模型评估中普遍存在的标准化缺失与结果不可复现的学术难题。通过统一记录模型在权威基准(如 MMLU 涵盖的 57 个学科、TruthfulQA 的诚实性检测)上的表现,它使得跨模型、跨时间维度的公平比较成为可能。研究者得以摆脱依赖零星论文报告的碎片化数值,转而依托结构化数据探究模型泛化能力的边界——例如,BetterSaul-7B-slerp 在 Winogrande 上达到 82.32% 的准确率,却在大学数学任务中仅获 29%,这种性能差异的量化揭示了当前模型在符号推理与领域知识迁移上的深层瓶颈,为后续改进指明了方向。
衍生相关工作
围绕该数据集衍生的经典工作主要集中于两大方向:一是基于评估结果的模型融合与优化研究,例如分析 BetterSaul-7B-slerp 在 slerp 插值策略下的性能分布,催生了更高效的模型权重混合算法;二是评估方法论本身的革新,研究者利用该数据集的 63 个配置结构,发展出多任务学习中的课程排序策略,以及针对长尾学科(如大学物理仅 40.2%)的少样本提示工程。同时,该数据集作为 Open LLM Leaderboard 的组成部分,为后续推出的安全评估、多语言扩展等更复杂的基准框架提供了数据范式与基准线,持续推动着大模型透明评估的生态建设。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务