open-llm-leaderboard-old/details_NYTK__PULI-LlumiX-32K

Name: open-llm-leaderboard-old/details_NYTK__PULI-LlumiX-32K
Creator: open-llm-leaderboard-old
Published: 2024-03-12 17:50:24
License: 暂无描述

Hugging Face2024-03-12 更新2024-06-22 收录

下载链接：

https://hf-mirror.com/datasets/open-llm-leaderboard-old/details_NYTK__PULI-LlumiX-32K

下载链接

链接失效反馈

官方服务：

资源简介：

该数据集是在Open LLM Leaderboard上对模型NYTK/PULI-LlumiX-32K进行评估运行时自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。它包含一次运行的结果，每次运行在每个配置中表示为特定的分割。train分割始终指向最新的结果。一个名为results的额外配置存储了所有运行的聚合结果，这些结果用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用`datasets`库中的`load_dataset`函数加载运行细节的示例。

提供机构：

open-llm-leaderboard-old

原始信息汇总

数据集概述

数据集信息

名称: Evaluation run of NYTK/PULI-LlumiX-32K
来源: 自动创建于模型 NYTK/PULI-LlumiX-32K 在 Open LLM Leaderboard 的评估运行。
组成: 包含63个配置，每个配置对应一个评估任务。
创建: 从1次运行中创建，每个运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train" 分割始终指向最新的结果。
额外配置: "results" 配置存储所有运行的聚合结果，用于计算和显示聚合指标在 Open LLM Leaderboard。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_NYTK__PULI-LlumiX-32K", "harness_winogrande_5", split="train")

配置详情

配置名称: harness_arc_challenge_25
- 数据文件:
  - 分割: 2024_03_12T17_47_38.652548
    - 路径: **/details_harness|arc:challenge|25_2024-03-12T17-47-38.652548.parquet
  - 分割: latest
    - 路径: **/details_harness|arc:challenge|25_2024-03-12T17-47-38.652548.parquet
配置名称: harness_gsm8k_5
- 数据文件:
  - 分割: 2024_03_12T17_47_38.652548
    - 路径: **/details_harness|gsm8k|5_2024-03-12T17-47-38.652548.parquet
  - 分割: latest
    - 路径: **/details_harness|gsm8k|5_2024-03-12T17-47-38.652548.parquet
配置名称: harness_hellaswag_10
- 数据文件:
  - 分割: 2024_03_12T17_47_38.652548
    - 路径: **/details_harness|hellaswag|10_2024-03-12T17-47-38.652548.parquet
  - 分割: latest
    - 路径: **/details_harness|hellaswag|10_2024-03-12T17-47-38.652548.parquet
配置名称: harness_hendrycksTest_5
- 数据文件:
  - 分割: 2024_03_12T17_47_38.652548
    - 路径:
      - **/details_harness|hendrycksTest-abstract_algebra|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-anatomy|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-astronomy|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-business_ethics|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-clinical_knowledge|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-college_biology|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-college_chemistry|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-college_computer_science|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-college_mathematics|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-college_medicine|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-college_physics|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-computer_security|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-conceptual_physics|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-econometrics|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-electrical_engineering|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-elementary_mathematics|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-formal_logic|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-global_facts|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-high_school_biology|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-high_school_chemistry|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-high_school_computer_science|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-high_school_european_history|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-high_school_geography|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-high_school_government_and_politics|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-high_school_macroeconomics|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-high_school_mathematics|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-high_school_microeconomics|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-high_school_physics|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-high_school_psychology|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-high_school_statistics|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-high_school_us_history|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-high_school_world_history|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-human_aging|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-human_sexuality|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-international_law|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-jurisprudence|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-logical_fallacies|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-machine_learning|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-management|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-marketing|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-medical_genetics|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-miscellaneous|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-moral_disputes|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-moral_scenarios|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-nutrition|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-philosophy|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-prehistory|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-professional_accounting|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-professional_law|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-professional_medicine|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-professional_psychology|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-public_relations|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-security_studies|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-sociology|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-us_foreign_policy|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-virology|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-world_religions|5_2024-03-12T17-47-38.652548.parquet
  - 分割: latest
    - 路径:
      - **/details_harness|hendrycksTest-abstract_algebra|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-anatomy|5_2024-03-12T17-47-38.652548.parquet
      - **/details_harness|hendrycksTest-astronomy|5_2024-03-12T17-47-38.652548.parquet

搜集汇总

数据集介绍

构建方式

该数据集是在Open LLM Leaderboard对模型NYTK/PULI-LlumiX-32K进行自动化评估的过程中生成的。数据集由63个配置组成，每个配置对应一个被评估的任务。数据来源于一次运行，每次运行作为特定分割存储在相应配置中，分割以运行时间戳命名，其中“train”分割始终指向最新结果。此外，还包含一个名为“results”的配置，用于存储所有聚合结果，以计算和展示排行榜上的综合指标。

特点

该数据集具有结构化和时序化的特点。每个配置对应一个独立任务，如ARC挑战赛、HellaSwag、GSM8K等，覆盖了常识推理、数学、医学、法律等广泛领域。每次运行的结果按时间戳分割保存，便于追溯历史评估数据，而“latest”分割则自动指向最新结果，确保用户总能获取到最新性能指标。数据集还提供了详细的聚合指标，包括准确率及其标准误差等，为模型性能分析提供了丰富信息。

使用方法

使用该数据集时，可通过HuggingFace的datasets库加载。例如，加载winogrande任务的最新结果，可使用代码：from datasets import load_dataset; data = load_dataset('open-llm-leaderboard/details_NYTK__PULI-LlumiX-32K', 'harness_winogrande_5', split='train')。如需访问特定运行的历史结果，可将分割参数替换为对应的时间戳字符串。此外，通过加载“results”配置，可获取所有任务的聚合评估指标，便于进行模型整体性能分析。

背景与挑战

背景概述

随着大语言模型在自然语言处理领域的迅猛发展，如何系统化、标准化地评估模型在多样化任务上的表现成为学界与工业界共同关注的焦点。Open LLM Leaderboard作为一个开放的模型评测平台，旨在通过涵盖常识推理、知识问答、数学求解等多项基准测试，为研究者提供公平、可复现的评估框架。在此背景下，由匈牙利科学院（NYTK）主导开发的PULI-LlumiX-32K模型，于2024年3月12日经由该平台完成评测，其评测结果被系统性地记录于本数据集中。该数据集不仅存储了模型在63个不同配置下的详细性能指标，还通过结构化方式展示了模型在ARC、HellaSwag、GSM8K等经典任务上的表现，为后续模型优化与对比研究提供了宝贵的参考依据。

当前挑战

该数据集所面临的核心挑战体现在两个层面。其一，在领域问题层面，大语言模型评估的全面性与公平性仍是一大难题。现有基准如HellaSwag、TruthfulQA等虽能覆盖部分能力，但模型在数学推理（如GSM8K仅达0.06的准确率）与专业学科知识（如college_physics不足0.17）上的表现暴露出当前评测体系在深度与广度上的不足。其二，在数据集构建过程中，如何确保多配置、多时间戳评测结果的一致性与可追溯性构成了技术挑战。本数据集通过为每次运行生成独立的时间戳分割，并维护指向最新结果的“train”分割，实现了结果的组织与更新，但面对不断演进的模型版本与评测任务，如何高效整合新数据、避免信息冗余，仍是维护者需要持续应对的难题。

常用场景

经典使用场景

该数据集源自Open LLM Leaderboard对NYTK/PULI-LlumiX-32K模型的自动化评估流程，涵盖63个评测任务配置，包括ARC-Challenge、HellaSwag、GSM8K、TruthfulQA、WinoGrande以及涵盖57个学科的MMLU基准测试。其经典使用场景在于系统性地记录并复现大语言模型在多样化自然语言理解与推理任务上的细粒度表现，为模型性能的横向对比提供结构化、可追溯的评估数据。

衍生相关工作

该数据集衍生了一系列基于标准化评测的经典工作，例如Open LLM Leaderboard平台本身成为社区模型排名的权威基准，催生了多篇关于模型评测方法论的研究。此外，基于其记录的原始推理日志，研究者开发了针对特定任务（如数学推理、知识溯源）的模型诊断工具，推动了诸如Chain-of-Thought提示策略、少样本学习能力分析等方向的发展，进一步丰富了可解释性评估的学术生态。

数据集最近研究