遇见数据集

open-llm-leaderboard-old/details_jondurbin__airoboros-c34b-2.1

收藏
Hugging Face2023-10-22 更新2024-06-22 收录
官方服务:

资源简介:

该数据集是在模型 jondurbin/airoboros-c34b-2.1 在 Open LLM Leaderboard 上的评估运行期间自动创建的。数据集由64个配置组成,每个配置对应一个被评估的任务。它由2次运行创建,每次运行在每个配置中表示为特定的分割,使用运行的时间戳命名。train 分割始终指向最新的结果。一个名为 results 的额外配置存储了所有运行的聚合结果,用于计算和显示 Open LLM Leaderboard 上的聚合指标。README 还提供了如何使用 `datasets` 库中的 `load_dataset` 函数加载运行细节的示例。

该数据集是在模型 jondurbin/airoboros-c34b-2.1 在 Open LLM Leaderboard 上的评估运行期间自动创建的。数据集由64个配置组成,每个配置对应一个被评估的任务。它由2次运行创建,每次运行在每个配置中表示为特定的分割,使用运行的时间戳命名。train 分割始终指向最新的结果。一个名为 results 的额外配置存储了所有运行的聚合结果,用于计算和显示 Open LLM Leaderboard 上的聚合指标。README 还提供了如何使用 `datasets` 库中的 `load_dataset` 函数加载运行细节的示例。

原始信息汇总

数据集概述

该数据集是在评估模型 jondurbin/airoboros-c34b-2.1 在 Open LLM Leaderboard 上的自动创建的。

数据集组成

  • 数据集包含 64 个配置,每个配置对应一个评估任务。
  • 数据集从 2 次运行中创建,每个运行可以在每个配置中找到特定的分割,分割名称使用运行的时间戳。
  • "train" 分割总是指向最新的结果。
  • 额外的配置 "results" 存储所有运行的聚合结果,用于计算和显示聚合指标在 Open LLM Leaderboard 上。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_jondurbin__airoboros-c34b-2.1", "harness_winogrande_5", split="train")

最新结果

以下是 2023-10-22T21:16:11.848472 运行的最新结果:

python { "all": { "em": 0.2950922818791946, "em_stderr": 0.004670729426706433, "f1": 0.35763003355704864, "f1_stderr": 0.004615741016305116, "acc": 0.38384505972750876, "acc_stderr": 0.010339372510053756 }, "harness|drop|3": { "em": 0.2950922818791946, "em_stderr": 0.004670729426706433, "f1": 0.35763003355704864, "f1_stderr": 0.004615741016305116 }, "harness|gsm8k|5": { "acc": 0.08339651250947688, "acc_stderr": 0.0076156502771067 }, "harness|winogrande|5": { "acc": 0.6842936069455406, "acc_stderr": 0.01306309474300081 } }

配置详情

  • harness_arc_challenge_25

    • 分割: 2023_08_28T14_17_53.693745
      • 路径: **/details_harness|arc:challenge|25_2023-08-28T14:17:53.693745.parquet
    • 分割: latest
      • 路径: **/details_harness|arc:challenge|25_2023-08-28T14:17:53.693745.parquet
  • harness_drop_3

    • 分割: 2023_10_22T21_16_11.848472
      • 路径: **/details_harness|drop|3_2023-10-22T21-16-11.848472.parquet
    • 分割: latest
      • 路径: **/details_harness|drop|3_2023-10-22T21-16-11.848472.parquet
  • harness_gsm8k_5

    • 分割: 2023_10_22T21_16_11.848472
      • 路径: **/details_harness|gsm8k|5_2023-10-22T21-16-11.848472.parquet
    • 分割: latest
      • 路径: **/details_harness|gsm8k|5_2023-10-22T21-16-11.848472.parquet
  • harness_hellaswag_10

    • 分割: 2023_08_28T14_17_53.693745
      • 路径: **/details_harness|hellaswag|10_2023-08-28T14:17:53.693745.parquet
    • 分割: latest
      • 路径: **/details_harness|hellaswag|10_2023-08-28T14:17:53.693745.parquet
  • harness_hendrycksTest_5

    • 分割: 2023_08_28T14_17_53.693745
      • 路径:
        • **/details_harness|hendrycksTest-abstract_algebra|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-anatomy|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-astronomy|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-business_ethics|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-clinical_knowledge|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-college_biology|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-college_chemistry|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-college_computer_science|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-college_mathematics|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-college_medicine|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-college_physics|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-computer_security|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-conceptual_physics|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-econometrics|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-electrical_engineering|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-elementary_mathematics|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-formal_logic|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-global_facts|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-high_school_biology|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-high_school_chemistry|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-high_school_computer_science|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-high_school_european_history|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-high_school_geography|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-high_school_mathematics|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-high_school_microeconomics|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-high_school_physics|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-high_school_psychology|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-high_school_statistics|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-high_school_us_history|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-high_school_world_history|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-human_aging|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-human_sexuality|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-international_law|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-jurisprudence|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-logical_fallacies|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-machine_learning|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-management|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-marketing|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-medical_genetics|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-miscellaneous|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-moral_disputes|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-moral_scenarios|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-nutrition|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-philosophy|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-prehistory|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-professional_accounting|5_2023-08-28T14:17:53.693745.parquet
        • **/details_harness|hendrycksTest-professional_law|5_2023-08-28T14:17:53.693745.parquet
        • `**/details
搜集汇总
数据集介绍
构建方式
在大型语言模型评估领域,Open LLM Leaderboard为模型性能的量化比较提供了标准化平台。该数据集源自对jondurbin/airoboros-c34b-2.1模型在Open LLM Leaderboard上的自动化评估过程,系统性地记录了模型在64个不同评估任务配置下的详细表现。数据集的构建基于两次独立的运行,每次运行的结果被存储为独立的划分,并使用运行时间戳进行标识,其中'train'划分始终指向最新一次评估的结果。此外,一个名为'results'的独立配置汇总了所有运行的综合指标,用于在排行榜上计算和展示聚合性能。所有数据均以Parquet格式存储,确保了数据的高效存取与可扩展性。
特点
该数据集的核心特点在于其精细化的任务划分与版本追溯能力。64个配置对应了从常识推理(如ARC Challenge、HellaSwag)到数学推理(GSM8K)、知识问答(MMLU的57个子领域)以及阅读理解(DROP)等多样化的评估任务,每个任务均包含详细的评估细节,如准确率、F1分数及标准差。通过时间戳划分,研究者能够追溯模型在不同时间点的性能演变,而'train'划分自动指向最新结果,便于持续追踪模型改进。这种结构化设计不仅提供了模型在各项基准上的微观表现,还通过聚合指标实现了宏观性能的直观对比,为模型优化提供了多维度的参考依据。
使用方法
利用该数据集进行模型分析时,研究者可通过HuggingFace Datasets库便捷加载。例如,使用`load_dataset("open-llm-leaderboard/details_jondurbin__airoboros-c34b-2.1", "harness_winogrande_5", split="train")`即可获取Winogrande任务的最新评估细节。每个任务配置下的数据按运行时间戳分割,用户可指定特定时间戳的划分以对比历史结果。此外,通过访问'results'配置,可以一键加载所有任务的聚合指标,便于快速评估模型整体水平。数据集支持灵活的任务选择与版本回溯,适用于模型性能的深入剖析与横向比较。
背景与挑战
背景概述
随着大型语言模型(LLM)在自然语言处理领域取得突破性进展,如何系统、公正地评估其多维度能力成为学术界与工业界共同关注的核心议题。在此背景下,HuggingFace社区于2023年推出了Open LLM Leaderboard,旨在通过标准化基准测试为开源模型提供可复现的评测框架。该数据集作为Leaderboard的组成部分,由HuggingFace团队(联系人clementine@hf.co)于2023年创建,专门记录jondurbin/airoboros-c34b-2.1模型在多个任务上的评估细节。数据集涵盖ARC挑战、DROP、GSM8K、HellaSwag及涵盖57个学科的MMLU等64种配置,通过自动化流程生成并存储每次运行的细粒度结果。这一资源不仅为研究者提供了模型性能的透明化参考,更推动了开源LLM生态的良性竞争与发展,其影响已延伸至模型选型、学术对比及社区协作等多个层面。
当前挑战
该数据集所解决的领域挑战在于为大规模语言模型提供统一、多维度的评估标准。具体而言,LLM在常识推理(如ARC)、数学解题(如GSM8K)、阅读理解(如DROP)及知识广度(如MMLU)等任务上的表现差异巨大,缺乏标准化评测易导致模型宣称的性能与实际应用脱节。构建过程中,挑战集中于三点:一是确保64种任务配置的覆盖广度与任务代表性,需平衡评测成本与评估全面性;二是处理多轮评估运行(如2023年8月与10月两次运行)的数据一致性,避免因模型版本或环境差异引入偏差;三是设计高效的数据存储与加载机制,使研究者能便捷地提取特定任务或历史版本的结果,支撑细粒度分析与横向对比。
常用场景
经典使用场景
在大型语言模型的性能评估领域,该数据集作为Open LLM Leaderboard的评估记录载体,被广泛用于标准化评测模型的推理、常识理解与数学能力。其经典用途在于通过64个配置项(如ARC挑战赛、GSM8K数学推理、WinoGrande常识推理等)对模型进行多维度基准测试,研究者可加载特定任务的parquet文件,复现模型在特定场景下的精确度(accuracy)、精确匹配率(exact match)和F1分数等指标,从而实现对模型能力的横向对比与纵向追踪。
实际应用
在实际应用中,该数据集为模型开发者和企业提供了自动化模型选型的决策支持。通过分析模型在GSM8K(数学应用题)和DROP(阅读理解)等任务上的表现,工程师可快速筛选适合教育辅导、智能客服或知识问答系统的预训练模型。例如,在金融领域,可依据模型在经济学和会计学测试上的准确率选择合规风控助手;在医疗场景,则依据临床知识测试的F1分数确定辅助诊断模型的可靠性,显著降低了模型部署前的试错成本。
衍生相关工作
该数据集衍生了多项经典工作,包括基于其评估结果改进的airoboros系列模型(如c34b-2.1版本),以及推动Open LLM Leaderboard成为社区标杆的评估框架。研究者利用该数据集中的错误案例分析(如GSM8K低准确率区域)指导了思维链(Chain-of-Thought)提示策略的优化,催生了如'自我一致性'(Self-Consistency)等推理增强方法。此外,该数据集的跨学科评测配置(如57个MMLU子任务)启发了多任务学习与知识蒸馏的研究,成为后续模型能力图谱构建的参照基准。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务