five

open-llm-leaderboard/details_Undi95__LewdEngine

收藏
Hugging Face2023-10-18 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/open-llm-leaderboard/details_Undi95__LewdEngine
下载链接
链接失效反馈
官方服务：
资源简介：
该数据集是在评估模型Undi95/LewdEngine时自动创建的，包含64个配置，每个配置对应一个评估任务。数据集由2次运行生成，每次运行的结果存储在不同的split中，split以运行的时间戳命名。train split始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于在Open LLM Leaderboard上计算和显示聚合指标。

This dataset was automatically generated during the evaluation of the model Undi95/LewdEngine, and comprises 64 configurations, each corresponding to a distinct evaluation task. The dataset is compiled from two separate runs, with the results of each run stored in separate splits named after the timestamp of the respective run. The train split always references the most up-to-date results. In addition, there exists a configuration titled 'results' that stores the aggregated results of all runs, which is used to compute and display aggregate metrics on the Open LLM Leaderboard.
提供机构：
open-llm-leaderboard
原始信息汇总

数据集概述

该数据集是在评估模型 Undi95/LewdEngine 在 Open LLM Leaderboard 上的自动创建的。数据集包含 64 个配置，每个配置对应一个评估任务。

数据集结构

数据集由 2 次运行创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train" 分割始终指向最新的结果。

额外配置

一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。

加载数据示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Undi95__LewdEngine", "harness_winogrande_5", split="train")

最新结果

以下是 最新结果 的示例：

python { "all": { "em": 0.0019924496644295304, "em_stderr": 0.0004566676462666989, "f1": 0.06167575503355703, "f1_stderr": 0.0013753579135200263, "acc": 0.4362959430292375, "acc_stderr": 0.010625413263646535 }, "harness|drop|3": { "em": 0.0019924496644295304, "em_stderr": 0.0004566676462666989, "f1": 0.06167575503355703, "f1_stderr": 0.0013753579135200263 }, "harness|gsm8k|5": { "acc": 0.12357846853677028, "acc_stderr": 0.00906505030677692 }, "harness|winogrande|5": { "acc": 0.7490134175217048, "acc_stderr": 0.012185776220516151 } }

配置详情

以下是数据集的部分配置详情：

  • config_name: harness_arc_challenge_25

    • data_files:
      • split: 2023_09_05T02_56_23.442470
        • path: **/details_harness|arc:challenge|25_2023-09-05T02:56:23.442470.parquet
      • split: latest
        • path: **/details_harness|arc:challenge|25_2023-09-05T02:56:23.442470.parquet

  • config_name: harness_drop_3

    • data_files:
      • split: 2023_10_18T07_14_30.015522
        • path: **/details_harness|drop|3_2023-10-18T07-14-30.015522.parquet
      • split: latest
        • path: **/details_harness|drop|3_2023-10-18T07-14-30.015522.parquet

  • config_name: harness_gsm8k_5

    • data_files:
      • split: 2023_10_18T07_14_30.015522
        • path: **/details_harness|gsm8k|5_2023-10-18T07-14-30.015522.parquet
      • split: latest
        • path: **/details_harness|gsm8k|5_2023-10-18T07-14-30.015522.parquet

  • config_name: harness_hellaswag_10

    • data_files:
      • split: 2023_09_05T02_56_23.442470
        • path: **/details_harness|hellaswag|10_2023-09-05T02:56:23.442470.parquet
      • split: latest
        • path: **/details_harness|hellaswag|10_2023-09-05T02:56:23.442470.parquet

  • config_name: harness_hendrycksTest_5

    • data_files:
      • split: 2023_09_05T02_56_23.442470
        • path:
          • **/details_harness|hendrycksTest-abstract_algebra|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-anatomy|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-astronomy|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-business_ethics|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-clinical_knowledge|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-college_biology|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-college_chemistry|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-college_computer_science|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-college_mathematics|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-college_medicine|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-college_physics|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-computer_security|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-conceptual_physics|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-econometrics|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-electrical_engineering|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-elementary_mathematics|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-formal_logic|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-global_facts|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-high_school_biology|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-high_school_chemistry|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-high_school_computer_science|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-high_school_european_history|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-high_school_geography|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-high_school_mathematics|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-high_school_microeconomics|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-high_school_physics|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-high_school_psychology|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-high_school_statistics|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-high_school_us_history|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-high_school_world_history|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-human_aging|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-human_sexuality|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-international_law|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-jurisprudence|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-logical_fallacies|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-machine_learning|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-management|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-marketing|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-medical_genetics|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-miscellaneous|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-moral_disputes|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-moral_scenarios|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-nutrition|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-philosophy|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-prehistory|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-professional_accounting|5_2023-09-05T02:56:23.442470.parquet
          • **/details_harness|hendrycksTest-professional_law|5_2023-09-05T02:56:23.442470.
搜集汇总
数据集介绍
main_image_url
构建方式
该数据集是在对Undi95/LewdEngine模型进行Open LLM Leaderboard评估过程中自动生成的。数据集包含64个配置，每个配置对应一个被评估的任务。数据来源于两次独立的评估运行，每次运行的结果以时间戳命名作为特定划分，其中'train'划分始终指向最新结果。此外，一个名为'results'的额外配置存储了所有运行的聚合结果，用于在Open LLM Leaderboard上计算和展示综合指标。
特点
数据集的一个显著特点是其多任务覆盖性，涵盖了诸如ARC挑战、DROP、GSM8K、HellaSwag以及HendrycksTest等多个领域的评估任务。每个任务配置都包含来自不同时间戳的运行结果，便于进行历史对比和趋势分析。数据以Parquet格式存储，结构清晰，支持高效加载。最新结果以JSON格式呈现，提供了精确度、F1分数等关键性能指标及其标准误差，为模型性能的量化评估提供了可靠依据。
使用方法
使用HuggingFace的datasets库可以便捷地加载该数据集。例如，通过`load_dataset("open-llm-leaderboard/details_Undi95__LewdEngine", "harness_winogrande_5", split="train")`即可获取指定任务的评估详情。用户可根据需要选择特定的配置名称（如harness_arc_challenge_25）和划分（如时间戳或latest），以访问不同任务和运行的结果。此外，通过加载'results'配置，可以获取所有任务的聚合性能数据，便于整体评估模型表现。
背景与挑战
背景概述
在大型语言模型（LLM）评估领域，标准化基准测试平台的构建对于衡量模型性能至关重要。Open LLM Leaderboard由HuggingFace团队于2023年创建，旨在为开源社区提供一个透明、可复现的模型评估框架。该数据集作为Leaderboard的组成部分，专门用于记录模型Undi95/LewdEngine在多项任务上的评估结果，涵盖ARC挑战、DROP、GSM8K、HellaSwag、WinoGrande以及MMLU等广泛基准。核心研究问题在于如何通过统一的评估协议，客观比较不同LLM在推理、常识理解与数学求解等维度的表现。该数据集不仅为模型开发者提供了细粒度的性能反馈，还推动了开源LLM评估标准的规范化，对社区内模型迭代与改进产生了深远影响。
当前挑战
该数据集所解决的领域问题在于，LLM评估常因任务多样性、提示格式差异及随机性而缺乏一致性。具体挑战包括：1) 如何确保不同模型在相同任务上的评估结果具有可比性，避免因评估脚本或超参数设置不同导致的偏差；2) 在构建过程中，需解决多轮评估结果的时间戳对齐问题，数据集通过将每次运行作为独立分割存储，并设置‘latest’分割指向最新结果，以维持数据时效性；3) 处理多任务配置的复杂性，例如MMLU涵盖57个学科，需将每个子任务的评估数据按配置名分门别类，同时保证数据格式的统一与可扩展性，这对数据流水线的健壮性提出了较高要求。
常用场景
经典使用场景
该数据集源自Open LLM Leaderboard对Undi95/LewdEngine模型的自动评估流程，其核心用途在于系统性地记录并复现大语言模型在多项标准化基准任务上的细粒度表现。它涵盖了ARC挑战、DROP、GSM8K、HellaSwag、Winogrande及涵盖57个学科的MMLU测试等经典评估任务，每个任务均对应独立的配置与运行快照。研究者可通过加载特定任务的parquet文件，精准回溯模型在特定时间点的推理结果，从而为模型性能的横向对比、纵向追踪以及误差分析提供坚实的数据基础。
衍生相关工作
围绕该数据集，衍生了一系列关于大语言模型评估方法论与排行榜机制的研究工作。例如，有工作基于其多任务结果探讨了不同基准之间的相关性，提出了更高效的评估子集选择策略；另有研究利用其时间序列数据，分析了模型性能随训练步骤或微调策略的变化规律。此外，该数据集也常被用作基准测试，验证新型评估框架（如基于对抗样本的评测）的有效性，以及检验去偏算法对模型公平性的实际改善效果。
数据集最近研究
最新研究方向
当前，大语言模型评估基准数据集的研究正朝着细粒度、多任务与动态追踪的方向演进。open-llm-leaderboard/details_Undi95__LewdEngine 作为 Open LLM Leaderboard 框架下的自动评估产物，不仅涵盖了 ARC、HellaSwag、GSM8K 等经典推理与知识任务，还纳入了涵盖 57 个学科的 MMLU 子集，体现了对模型在广泛知识领域内泛化能力的深度挖掘。该数据集通过多轮运行的时间戳分片与结构化配置，支持对模型性能演变进行时序分析，这与前沿研究中强调的“持续评估”与“可复现性”趋势高度契合。其在 Winogrande 任务上约 74.9% 的准确率与 GSM8K 上约 12.4% 的数学推理表现，揭示了当前模型在常识推理与数值推理之间的显著能力鸿沟，为后续针对薄弱环节的定向优化与多任务学习策略提供了关键实证依据。
以上内容由遇见数据集搜集并总结生成
关于我们
遇见数据集——让每个数据集都被发现，让每一次遇见都有价值。
数发科官网www.sfktec.com
联系我们
youjian
selectdataset@iotsh.com.cn
商业合作
数据驱动未来，携手共赢发展
二维码
社区交流群
二维码
科研交流群
商业服务